🤖 AI

An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

이 논문은 딥러닝 손실 함수 시퀀스를 분석하여 잘못 레이블링된 의료 영상을 식별하는 자동화된 방법을 제안하고 검증하며, 이러한 오류를 수정하는 것이 당뇨망막병증 선별 검사에서 데이터셋의 품질과 모델 성능을 유의미하게 향상시킨다는 것을 입증한다.

원저자: Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 다양한 종류의 과일을 인식하도록 가르치고 있다고 상상해 보세요. 당신은 로봇에게 수천 장의 사진을 보여주지만, 어떤 사진들에는 잘못된 이름표가 붙어 있습니다. 예를 들어, 바나나를 실수로 사과라고 이름 붙인 것입니다. 만약 로봇이 이 잘못된 이름표를 공부하게 둔다면, 로봇은 혼란에 빠지고 잘못된 것을 배우게 될 것입니다.

의료계에서도 안저 영상을 분석하는 AI를 다룰 때 정확히 이런 일이 발생합니다. 의사들은 이러한 AI 시스템을 훈련시키기 위해 수천 장의 이미지를 수동으로 라벨링해야 합니다. 하지만 의사도 인간이기에 피곤함을 느낄 수 있고, 이미지가 흐릿할 수도 있으며, 질환들이 매우 비슷해 보일 수도 있습니다. 이 논문의 저자들은 이러한 의료용 라벨 중 최대 10%가 잘못되었을 수 있다고 추정합니다.

문제점: "혼란에 빠진" 학생
연구진은 AI가 "학습하는" 방식에서 흥다는 점을 발견했습니다. AI가 올바른 라벨이 붙은 사진을 볼 때, AI는 빠르게 확신을 갖습니다. AI의 "실수 점수"(손실 함수라고 불림)는 마치 수업 내용을 이해하고 매일 성적이 좋아지는 학생처럼 매끄럽게 내려갑니다.

하지만 AI가 잘못된 라벨이 붙은 사진을 볼 때, AI는 혼란의 루프에 빠집니다. 배우려고 노력하지만 실패하고, 다시 시도하지만 또 실패합니다. AI의 "실수 점수"는 마치 선생님의 설명에 계속 혼란스러워하는 학생처럼 심하게 요동치거나 높은 상태를 유지합니다.

해결책: AI의 "심장 박동"에 귀 기울이기
이 논문은 사람이 모든 이미지를 일일이 확인할 필요 없이, 이러한 잘못된 라벨을 찾아내는 영리하고 자동화된 방법을 제안합니다. 그 방법은 다음과 같습니다.

장거리 달리기: 그들은 AI가 데이터셋을 여러 번 반복해서 학습하도록 했습니다 (마치 마라톤 세션을 수행하는 것처럼).
점수의 이야기: 그들은 단순히 최종 결과만을 보는 대신, 매 훈련 세션이 끝날 때마다 AI의 "실수 점수"를 기록했습니다. 이를 통해 각 이미지마다 고유한 "이야기" 또는 시퀀스가 만들어졌습니다.
패턴 찾기: 그들은 수학적 도구를 사용하여 이 이야기들을 분석했습니다. 그들은 올바르게 라벨링된 이미지들의 이야기는 모두 매우 유사하다는 것(매끄러운 내리막길)을 발견했습니다. 반면, 잘못된 라벨이 붙은 이미지들의 이야기는 완전히 달랐습니다(울퉁불퉁하거나, 평평하거나, 혹은 무질서함).
분류: 그들은 컴퓨터 알고리즘을 사용하여 이 이야기들을 두 그룹으로 나누었습니다: "혼란스러운 것들"(잘못된 라벨일 가능성이 높은 것)과 "확신하는 것들"(올바른 라벨일 가능성이 높은 것).

실험: 교실 청소하기
이 방법이 효과가 있는지 테스트하기 위해, 연구진은 완벽한 10,788장의 안저 이미지를 가져온 뒤, 실제 세상의 실수처럼 보이도록 6%(648장)의 라벨을 비밀리에 바꿨습니다.

추적: 그들은 이 지저도한 데이터셋에 대해 그들의 새로운 방식을 실행했습니다. 이 방식은 바뀐 라벨의 **75%**를 성공적으로 찾아냈습니다.
안전망: 결정적으로, 이 방식은 너무 자주 '허위 경보'를 울리지 않았습니다. 올바른 라벨을 잘못된 것으로 오해한 경우는 약 5%에 불고했습니다.
정리: 그들은 컴퓨터가 지목한 이미지들을 가져와 전문의들이 해당 이미지들만 검토하여 라벨을 수정하게 했습니다. 이를 통해 전체 데이터셋의 오류율을 6%에서 1.5%로 낮추었습니다.

결과: 더 똑똑한 AI
마지막으로, 그들은 이 "정리된" 데이터셋을 사용하여 AI를 재학습시켰습니다. 그 결과는 어떠했을까요? AI는 업무 수행 능력이 향상되었습니다. 테스트 세트에서의 정확도가 95.93%에서 96.50%로 올라갔습니다. 이 수치가 작아 보일 수 있지만, 의료 AI의 세계에서 "완벽한" 점수(오염되지 않은 원래 데이터로 훈련했을 때의 96.57%)에 가까워지는 것은 매우 큰 의미가 있습니다.

요약
이 논문은 AI의 "실수 점수"가 시간이 지남에 따라 어떻게 변하는지를 관찰함으로써, 잘못된 이름이 붙은 이미지를 자동으로 찾아낼 수 있음을 보여줍니다. 이를 통해 의사들은 수정이 필요한 이미지에만 집중할 수 있으며, 결과적으로 최종 데이터셋을 더 깨끗하게 만들고 생성되는 의료 AI를 더욱 정확하게 만들 수 있습니다.

기술 요약: 손실 함수 시퀀스를 통한 의료 영상의 오라벨링 자동 식별

문제 정의
의료 영상 분석을 위한 딥러닝 모델은 수동으로 라벨링된 데이터셋의 품질에 크게 의존한다. 그러나 의사의 피로도, 미세혈관류와 같은 병변의 작은 크기, 질병 범주 간의 모호한 경계(예: 고도 근시와 병적 근시), 영상 등급 판정의 주관성 등의 요인으로 인해 수동 라벨링에는 오류가 발생하기 쉽다. 수동으로 라벨링된 의료 영상의 최대 10%가 잘못되었을 것으로 추정된다. 이러한 오류가 훈련 세트에 존재하면 모델 최적화를 방해하며, 검증 또는 테스트 세트에 존재할 경우 진정한 성능 평가를 저해한다. 전통적인 해결책은 숙련된 전문의가 모든 초기 라벨을 검토하는 것이지만, 이는 시간과 에너지가 많이 소모되는 과정이다.

방법론
저자들은 딥러닝 네트워크의 훈련 과정에서 생성되는 손실 함수의 시간적 시퀀스를 분석함으로써, 잘못 라벨링된 의료 영상을 식별하는 자동화된 방법을 제안한다. 핵심 가설은 올바르게 라벨링된 샘플은 훈련 에포크(epoch) 전반에 걸쳐 일관되게 점진적으로 감소하는 손실 추세를 보이는 반면, 잘못 라벨링된 샘플(정답(ground truth)이 틀린 경우)은 모델을 혼란 상태에 머물게 하여 손실 시퀀스가 높은 수준을 유지하거나 크게 변동한다는 것이다.

제안된 파이프라인은 세 단계로 구성된다:

다중 에포크 모델 훈련: ImageNet으로 사전 학습된 딥러닝 네트워크를 라벨링된 데이터셋으로 $N$ 에포크( $N > 2$ ) 동안 훈련시킨다. 각 샘플에 대해, 매 에포크마다 손실 값(교차 엔트로피)을 기록하여 길이 $N$ 의 시퀀스를 형성한다.
특징 추출: 각 샘플의 손실 시퀀스 특성을 규명하기 위해 여섯 가지 특정 특징을 추출한다:
- F1: 전체 시퀀스의 평균 (전역 손실 수준).
- F2: 처음 $P$ 개 항의 평균 (초기 단계 국소 손실).
- F3: $Q$ 번째 항과 $(Q+1)$ 번째 항 사이에서 가장 큰 손실 감소가 발생하는 위치 $Q$ .
- F4: 처음 $Q$ 개 항의 평균 (유의미한 감소 전 손실).
- F5: 마지막 $N-Q$ 개 항의 평균 (유의미한 감소 후 손실).
- F6: F4와 F5의 차이 (유의미한 감소의 폭).
클러스터링: 추출된 여섯 가지 특징을 사용하여, $k$ -평균(k-means) 클러스터링 알고리즘( $k=2$ )을 적용하여 데이터셋을 두 가지 범주, 즉 올바르게 라벨링된 샘플을 나타내는 그룹과 잘못 라벨링된 샘플을 나타내는 그룹으로 분할한다.

실험적 검증 및 결과
본 방법은 골드 스탠다드(gold-standard) 라벨이 포함된 10,788개의 샘플로 구성된 당뇨망막병증(DR) 선별 검사용 안저 영상 데이터셋을 통해 검증되었다.

데이터셋 시뮬레이션: 실제 환경의 노이즈를 시뮬레이션하기 위해, 골드 스탠다드 데이터셋의 라벨을 의도적으로 6%(648개 샘플) 뒤집어 합성 데이터셋(A')을 생성하였다.
식별 성능: 첫 번째 실험에서, 본 방법은 의도적으로 잘못 라벨링된 샘플 중 75.31%(648개 중 488개)를 성공적으로 식별하였다. 특이도(specificity)는 95.15%였으며, 이는 올바르게 라벨링된 샘플 중 4.85%만이 잘못된 것으로 오인되었음을 의미한다. 저자들은 식별되지 않은 샘플들이 영상 품질이 낮거나, 전문가조차 시각적으로 반대 클래스와 유사하게 느껴질 만큼 특징이 모호했기 때문이라고 언급하였다.
모델 성능 향 향상: 두 번째 실험에서, 잠재적으로 잘못된 것으로 식별된 980개의 샘플을 전문의가 검토 및 수정하여, 잔여 오류가 1.5%에 불과한 정제된 데이터셋(A'')을 구축하였다. 이 정제된 데이터셋으로 재학습된 딥러닝 모델은 독립적인 테스트 세트에서 96.50%의 최고 정확도를 달로 성하였다. 이는 노이즈가 있는 데이터셋으로 훈련된 모델의 95.93%보다 개선된 수치이며, 완벽하게 깨끗한 원래 데이터셋으로 훈련된 모델의 이상적인 성능인 96.57%에 근접한다.

주요 기여 및 의의
본 논문은 이 자동화된 접근 방식이 의료 AI의 데이터 정제 문제에 대한 실용적인 해결책을 제공한다고 주장한다. 손실 함수의 내재적 거동을 활용함으로써, 이 방법은 숙련된 전문의가 전체 컬렉션을 검토하는 대신 약 9.1%(본 연구 기준)의 고확률 하위 집합에만 검토 노력을 집중할 수 있게 한다. 이 과정은 의료 영상 데이터셋의 일관성과 신뢰성을 효과적으로 개선하여, 딥러닝 모델 훈련을 위한 더욱 견고한 토대를 마련하고 궁극적으로 진단 성능을 높이는 데 기여한다. 저자들은 본 방법이 DR 선별과 같은 이진 분류 작업에는 효과적이지만, 다중 클래스 분류 및 세그멘테이션(segmentation) 작업에서의 유용성을 검증하기 위해서는 추가적인 연구가 필요하다고 결론지었다.

유사한 논문