💻 computer science

Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions

본 논문은 이미지 분할 평가에 내재된 편향을 드러내어, 오츠의 클래스 간 분산 목적 함수가 카푸르의 엔트로피보다 SSIM 및 PSNR 과 같은 표준 품질 지표와 일관되게 더 강하게 상관관계를 가진다는 것을 입증함으로써 지표의 중립성에 대한 가정에 도전한다.

원저자: Eslam Hegazy, Mohamed Gabr

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eslam Hegazy, Mohamed Gabr

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

케이크를 완벽한 조각으로 자르려 한다고 상상해 보세요. 컴퓨터 비전 세계에서 이 '케이크'는 이미지이며, 이를 '자른다'는 것은 그림의 서로 다른 부분들 (하늘과 땅, 혹은 종양과 건강한 조직 등) 을 분리한다는 것을 의미합니다. 이 과정을 **이미지 임계값 설정 (image thresholding)**이라고 합니다.

이를 수행하기 위해 컴퓨터는 어디를 자를지 알려주는 규칙집, 즉 **목적 함수 (Objective Function)**가 필요합니다. 가장 유명한 규칙집 두 가지는 다음과 같습니다:

오츠 (Otsu) 방법: 이 규칙집은 "밝은 부분과 어두운 부분 사이의 차이가 가장 큰 곳에서 케이크를 자르라"고 말합니다. 이는 크림과 스펀지 사이의 대비를 극대화하려는 것과 같습니다.
카푸르 (Kapur) 방법: 이 규칙집은 "정보 내용이 가장 균형 잡힌 곳에서 케이크를 자르라"고 말합니다. 이는 각 조각에 포함된 '놀라움'이나 다양성의 양에 기반한 더 복잡한 규칙입니다.

컴퓨터가 자른 후, 그 작업이 잘 이루어졌는지 확인해야 합니다. 이를 위해 **평가 지표 (Evaluation Metrics)**를 사용하는데, 이는 컷을 채점하는 심사위원과 같습니다. 이 분야에서 가장 인기 있는 심사위원 두 명은 다음과 같습니다:

SSIM (구조적 유사성 지수): 잘라낸 이미지의 모양과 구조가 원본과 얼마나 유사한지 살펴보는 심사위원입니다.
PSNR (최대 신호 대 잡음비): 자르는 과정에서 얼마나 많은 '잡음'이나 오류가 발생했는지 측정하는 심사위원입니다.

큰 문제: 심사위원에게 편향이 있다

이 논문의 저자들인 에스람 헤가지 (Eslam Hegazy) 와 모하메드 가브 (Mohamed Gabr) 는 의심스러운 점을 발견했습니다. 이 방법들을 비교한 거의 모든 연구에서 오츠 방법이 SSIM 과 PSNR 로 채점될 때 승리하는 것으로 보였습니다. 연구자들은 이것이 오츠가 단순히 더 나은 규칙집임을 의미한다고 가정했습니다.

하지만 저자들은 다른 질문을 던졌습니다: "만약 심사위원 (SSIM 과 PSNR) 이 비밀리에 오츠의 규칙집을 편향적으로 선호한다면 어떨까요?"

요리 대회를 생각해 보세요.

오츠는 대비가 높은 요리 (매우 짭짤하거나 매우 달콤한 요리) 를 전문으로 하는 셰프입니다.
카푸르는 균형 잡히고 복잡한 요리를 만드는 셰프입니다.
SSIM 과 PSNR은 심사위원들입니다.

저자들은 SSIM 과 PSNR 이 실제로 '맛 편향'을 가진 심사위원이라고 의심했습니다. 이들은 대비가 높은 요리를 좋아하도록 프로그래밍되어 있습니다. 따라서 카푸르가 완벽하게 균형 잡힌 요리를 만들더라도, 심사위원들은 자신이 선호하는 맛과 다르다는 이유만으로 점수를 낮게 줄 수 있습니다.

그들이 어떻게 검증했는지

이를 증명하기 위해 그들은 최상의 컷을 찾기 위해 정교한 AI 를 사용하지 않았습니다. 대신 매우 철저한 작업을 수행했습니다: BSDS500 이라는 데이터셋의 500 개의 다양한 자연 이미지에서 가능한 모든 단일 컷을 시도해 본 것입니다.

각 컷에 대해 그들은 다음을 계산했습니다:

오츠의 규칙에 따라 그 컷이 얼마나 좋은지.
카푸르의 규칙에 따라 그 컷이 얼마나 좋은지.
심사위원 (SSIM 과 PSNR) 이 그 컷에 점수를 어떻게 매겼는지.

그런 다음, 그들은 규칙집과 심사위원 사이의 관계 (상관관계) 를 살펴보았습니다.

결과: 편향은 현실이다

결과는 명확하고 놀라웠습니다:

오츠와 심사위원은 최고의 친구입니다: 오츠의 규칙집이 어떤 컷을 '좋다'고 했을 때, 심사위원 (SSIM 과 PSNR) 은 거의 항상 동의했습니다. 실제로 **100%**의 이미지에서 오츠의 점수는 PSNR 점수와 완벽하게 동기화되어 움직였습니다. **91%**의 이미지에서는 SSIM 과도 동기화되어 움직였습니다.
- 비유: 오츠와 심사위원이 같은 언어를 말하는 것과 같습니다. 오츠가 손을 들면 심사위원은 즉시 손을 듭니다.
카푸르와 심사위원은 낯선 사이입니다: 카푸르의 규칙집은 심사위원들과 훨씬 더 약한 연결고리를 가졌습니다. 때로는 동의하기도 하고 때로는 그렇지 않기도 했습니다. 관계는 혼란스럽고 예측 불가능했습니다.
- 비유: 카푸르는 다른 사투리를 말하려고 노력하는 것입니다. 심사위원들은 때로는 그를 이해하지만, 종종 컷이 실제로 좋았음에도 불구하고 어깨를 으쓱하며 평범한 점수를 줍니다.

이것이 의미하는 바

이 논문은 오츠 기반 방법들이 연구 논문에서 종종 '승리'하는 이유는 반드시 그들이 케이크를 자르는 데 더 능하기 때문이 아니라, 채점 시스템 (SSIM 과 PSNR) 이 오츠를 선호하도록 조작되어 있기 때문이라고 결론 내립니다.

만약 연구자가 카푸르가 최상의 컷을 찾도록 돕는 새로운 초지능 AI 알고리즘을 발명하더라도, 여전히 SSIM 과 PSNR 로 그것을 평가한다면 새로운 알고리즘은 실패한 것처럼 보일 수 있습니다. 왜냐하면 AI 가 얼마나 훌륭하든 간에, 심사위원들이 카푸르의 스타일에 편향되어 있기 때문입니다.

핵심 교훈

저자들은 과학계에 경고합니다: 심사위원을 맹신하지 마십시오.

이미지를 자르는 서로 다른 방법들을 공정하게 비교하고 싶다면, 단순히 SSIM 과 PSNR 을 사용할 수 없습니다. 이러한 도구들이 본질적으로 다른 방법들보다 특정 방법 (오츠) 을 선호한다는 사실을 인식해야 합니다. 최고의 '셰프'가 누구인지에 대한 진정한 그림을 얻으려면, 특정 맛을 선호하지 않는 새로운 심사위원이 필요할지도 모릅니다.

기술 요약: 이미지 임계값 설정 및 평가 지표 편향

문제 제기
다중 수준 이미지 임계값 설정은 의료 영상부터 원격 탐사에 이르기까지 다양한 분야에서 널리 적용되는 이미지 분할의 기본 기술입니다. 가능한 임계값 조합의 조합적 폭발로 인해, 연구자들은 일반적으로 최적의 임계값을 근사하기 위해 유전 알고리즘, 입자 군집 최적화 등의 메타휴리스틱 최적화 알고리즘을 사용합니다. 이러한 알고리즘은 주로 Otsu 의 클래스 간 분산과 Kapur 의 엔트로피와 같은 사전 정의된 목적 함수를 최적화합니다.

이 분야의 비교 연구에서 비판적이면서도 종종 암묵적으로 가정되는 전제는, 구조적 유사성 지수 (SSIM) 와 피크 신호 대 잡음비 (PSNR) 와 같은 풀-레퍼런스 이미지 품질 지표가 분할 품질을 평가하는 객관적이고 중립적인 기반을 제공한다는 것입니다. 그러나 경험적 관찰에 따르면, SSIM 과 PSNR 을 통해 평가될 때 Otsu 기준에 기반한 방법들이 Kapur 의 엔트로피에 기반한 방법들보다 자주 우수한 성능을 보입니다. 본 연구는 이러한 성능 차이가 분할의 실제 개선에서 비롯된 것인지, 아니면 평가 지표가 특정 목적 함수를 체계적으로 선호하는 내재적 편향에서 비롯된 것인지 조사합니다.

방법론
최적화 알고리즘의 효과를 목적 함수 및 평가 지표의 고유한 특성과 분리하기 위해, 저자들은 500 개의 자연 이미지로 구성된 BSDS500 데이터셋에 체계적인 상관 분석을 수행했습니다.

분석 범위: 특정 최적화 알고리즘의 출력에 의존하는 대신, 본 연구는 각 이미지에 대해 가능한 모든 단일 임계값 ( $0 < T \le L-1$ ) 을 평가했습니다.
지표 및 함수: 모든 가능한 임계값에 대해 저자들은 다음을 계산했습니다.
- 목적 함수: Otsu 의 클래스 간 분산 및 Kapur 의 엔트로피.
- 품질 지표: 원본 이미지에 대해 계산된 SSIM 및 PSNR.
상관 분석: 본 연구는 각 이미지 전체 임계값 공간에서 목적 함수 값과 품질 지표 값 간의 피어슨 상관 계수를 계산했습니다.
집계: 분석은 전역적 경향과 통계적 분포를 식별하기 위해 500 개 이미지 전체에 걸쳐 이러한 상관 계수를 집계했습니다.

주요 결과
분석은 표준 품질 지표와 Otsu 기준 간의 강력하고 체계적인 정렬을 드러냈으며, 이는 Kapur 의 엔트로피의 상대적으로 약한 정렬과 대조적입니다.

상관 강도: Otsu 함수는 SSIM 과 PSNR 모두와 일관되게 높은 양의 상관 관계를 보입니다. 반면, Kapur 의 엔트로피는 훨씬 더 약하고 변동성이 큰 상관 관계를 보입니다.
정량적 발견 (BSDS500):
- 평균 상관 (Otsu 대 지표): Otsu 는 SSIM 과 $0.8959$, PSNR 과 $0.9871$의 평균 상관 계수를 달성했습니다.
- 평균 상관 (Kapur 대 지표): Kapur 는 SSIM 과 $0.6743$, PSNR 과 $0.6817$의 평균 상관 계수를 달성했습니다.
- 이미지별 우세: PSNR 지표의 경우, Otsu 는 테스트된 500 개 이미지 중 100% 에서 Kapur 보다 높은 상관 관계를 보였습니다. SSIM 지표의 경우, Otsu 는 이미지의 91.4% 에서 더 높은 상관 관계를 보였습니다.
시각적 증거: 대표적 플롯은 많은 이미지에서 Otsu 값 곡선과 품질 지표 (SSIM/PSNR) 곡선이 거의 동일한 궤적을 따르는 반면, Kapur 곡선은 종종 발산하거나 낮은 상관 계수 (예: 한 샘플 사례에서 0.14) 를 보임을 보여줍니다.

의의 및 기여
본 논문은 문헌에서 관찰된 Otsu 기반 방법의 우월성이 최적화 알고리즘의 효과성이나 분할의 내재적 품질 때문만이 아니라, 지표 - 목적 함수 편향의 산물일 수 있음을 주장합니다.

비교 연구 재평가: 연구 결과는 평가 지표가 이미 선호하는 목적 함수 (예: PSNR 으로 평가하면서 Otsu 를 최적화) 에 최적화 알고리즘을 적용할 때, 해당 방법이 자연스럽게 우수해 보일 수 있음을 시사합니다. 반대로, 선호되지 않는 함수 (예: Kapur) 를 최적화하는 경우 최적화기의 성능과 관계없이 부당하게 열등한 것으로 인식될 수 있습니다.
방법론적 주의: 저자들은 SSIM 과 PSNR 을 중립적 벤치마크로 의존하는 것이 다중 수준 임계값 설정 연구에서 오해의 소지가 있는 결론을 초래할 수 있음을 강조합니다. 기존 문헌에서 Otsu 가 지배적인 것은 분할 품질에 대한 보편적 진리를 반영하기보다는 이러한 정렬의 반영일 수 있습니다.
향후 방향: 본 연구는 더 중립적인 평가 프레임워크의 필요성을 촉발합니다. 이는 이진 임계값을 넘어 진정한 다중 수준 임계값 설정으로 분석을 확장하고, 특징 유사성 지수 (FSIM) 와 같은 추가 지표를 포함하며, 최소 오차 임계값 (Minimum Error Thresholding), Masi 엔트로피와 같은 다른 목적 함수를 테스트하고, 의료 및 적외선 영상과 같은 다양한 도메인에서 이러한 편향을 검증하는 것을 제안합니다.

결론적으로, 본 작업은 SSIM 과 PSNR 이 서로 다른 임계값 설정 전략에 걸쳐 편향되지 않은 지표가 아니라는 경험적 증거를 제공합니다. 보고된 개선 사항이 알고리즘적 진보가 아니라 지표 정렬에서 비롯된 것일 수 있음을 인정하면서, 문헌의 성능 향상 해석에 대한 더 투명한 접근을 요구합니다.