💬 NLP

LADDER: Language-Driven Slice Discovery and Error Rectification in Vision Classifiers

LADDER는 명시적인 주석을 요구하지 않으면서 도메인 지식과 고급 추론을 통합함으로써 기존의 클러스터링 및 속성 기반 방식의 한계를 극복하고, 시각 분류기의 포괄적인 편향 완화를 위해 일관된 언어 기반 오류 슬라이스를 발견하고 의사 속성(pseudo-attributes)을 생성하기 위해 거대 언어 모델을 활용하는 새로운 프레임워크이다.

원저자: Shantanu Ghosh, Rayan Syed, Chenyu Wang, Vaibhav Choudhary, Binxu Li, Clare B. Poynton, Shyam Visweswaran, Kayhan Batmanghelich

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shantanu Ghosh, Rayan Syed, Chenyu Wang, Vaibhav Choudhary, Binxu Li, Clare B. Poynton, Shyam Visweswaran, Kayhan Batmanghelich

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 수천 장의 고양이와 개 사진을 보여주었고, 로봇은 정답을 맞히는 데 아주 능숙해졌습니다. 하지만 당신은 이상한 점을 발견합니다. 로봇이 실제로 고양이가 '무엇인지'를 배우고 있는 게 아니라는 사실입니다. 대신, 로봇은 지름길에 의존하고 있습니다. 로봇은 배경을 보고 있습니다. 만약 고양이가 초록색 잔디 위에 있다면, 로봇은 "초록색 잔디네? 그럼 고양이겠구나!"라고 생각합니다. 하지만 만약 빨간 카펫 위에 있는 고양이를 보여주면, 로봇은 당황하며 "개"라고 추측합니다. 이것을 "편향(bias)"이라고 부르며, 인공지능에서 발생하는 아주 교활한 문제입니다. 로봇은 이해라는 어려운 과정을 거치는 대신 지름길에 의존하고 있는 것입니다.

오랫동안 과학자들은 "잔디가 있는가?" 또는 "나무가 있는가?"와 같이 찾아야 할 것들의 거대한 체크리스트를 만들어 이 문제를 해결하려 노력했습니다. 하지만 이것은 마치 빨간 모자만 확인해서 도둑을 잡으려는 것과 같습니다. 만약 도둑이 파란 모자를 쓰고 있다면 어떻게 될까요? 기존의 방식은 너무 경직되어 있었습니다. 그것들은 틀에서 벗어나 생각할 수 없었으며, 로봇을 실패하게 만드는 미묘한 단서들을 놓치는 경우가 많았습니다. 바로 여기서 새로운 아이디어가 등장합니다. 만약 우리가 로봇에게 "이봐, 왜 틀렸어?"라고 묻고, 로봇이 말로써 스스로를 설명하게 할 수 있다면 어떨까요? 이것이 바로 이 논문이 다루는 핵심 질문입니다.

여기, AI의 실수를 잡아내는 탐정 역할을 하는 영리한 새로운 도구인 LADDER가 등장했습니다. 정해진 체크리스트에 로봇을 끼워 맞추는 대신, LADDER는 거대 언어 모델(LLM)이라는 초스마트한 언어 두뇌를 사용하여 로봇이 왜 실패하는지를 파악합니다. 이렇게 생각해 보세요. 만약 로봇이 시험을 치르는 학생이라면, 기존의 방식은 학생이 정답을 썼는지만 확인하는 선생님과 같습니다. 반면 LADDER는 학생의 연습장을 읽고, 학생이 창밖의 새 때문에 정신이 팔려 있었다는 것을 알아차린 뒤, "아! 너는 수학을 몰라서 틀린 게 아니라, 새를 보느라 틀린 거구나!"라고 말해주는 선생님과 같습니다.

LADDER가 마법을 부리는 방식은 다음과 같습니다. 먼저, 로봇이 맞힌 사진들과 틀린 사진들을 살펴봅니다. 그런 다음, 언어 전문가(LLM)에게 그 사진들의 설명(캡션)을 읽도록 요청합니다. 이 언어 전문가는 돋보기를 든 탐정처럼 텍스트 속에서 단서를 스캔합니다. 예를 들어, "잠깐만! 로봇이 '기흉(폐 질환)' 진단을 맞혔을 때는 보고서에 항상 '흉관(chest tube)'이 언급되었어. 하지만 틀렸을 때는 흉관이 없었네!"라고 말할 수 있습니다. 로봇은 폐를 보고 있었던 것이 아니라, 그저 흉관을 찾고 있었던 것입니다.

LADDER가 이러한 교활한 패턴을 포착하면, 단순히 지적하는 데 그치지 않고 이를 수정합니다. 로봇이 흉관을 무시하고 실제로 폐를 보도록 가르치기 위해 새로운 규칙 세트("의사 라벨(pseudo-labels)")를 만듭니다. 이는 마치 학생에게 "다음번에는 새는 무시하고 수학 문제에 집중해"라고 말하는 것과 같습니다. 이 논문은 조ل 속의 새를 찾는 일부터 의료 영상에서 암을 찾는 일까지 온갖 까다로운 작업들에 대해 LADDer를 테스트했습니다. 그들은 200개가 넘는 서로 다른 로봇 두뇌를 대상으로 테스트를 진행했으며, LADDER가 기존의 체크리스트 방식보다 이러한 숨겨진 실수들을 훨씬 더 잘 찾아낸다는 것을 발견했습니다.

가장 멋진 점은 무엇일까요? LADDER는 사람이 무엇을 찾아야 할지 일일이 적어줄 필요가 없다는 것입니다. LADDER는 이미지와 함께 제공되는 텍스트를 읽음으로써 스스로 방법을 찾아냅니다. 실제로 의료 영상에 대해 테스트했을 때, LADDER는 기존 방식들이 놓쳤던 편향들, 예를 들어 환자의 연령이나 X-레이를 촬영할 때 사용된 특정 기계 종류 때문에 로봇이 혼동을 일으키는 현상 등을 찾아냈습니다. 이 논문은 이러한 언어 기반의 탐정 작업을 통해, 특히 정답을 맞히는 것이 가장 중요한 의료와 같은 분야에서 AI를 훨씬 더 공정하고 신뢰할 수 있게 만들 수 있다고 제안합니다. LADDER는 모든 것을 즉시 해결하는 마법 지팡이는 아니지만, 우리의 AI에게 귀를 기울이고 올바른 교훈을 얻도록 돕는 강력한 새로운 방법입니다.

기술 요약: LADDER – 비전 분류기를 위한 언어 주도적 슬라이스 발견 및 오류 교정

1. 문제 정의

비전 분류기는 훈련 과정에서 학습된 가짜 상관관계(편향)로 인해 특정 데이터 하위 집합, 즉 **오류 슬라이스(error slices)**에서 체계적인 실패를 보이는 경우가 많습니다. 이러한 슬라이스를 발견하는 것은 특히 미묘하고 도메인 특화된 편향이 존재할 수 있는 방사학과 같은 전문 분야에서 모델의 강건성을 개선하는 데 매우 중요합니다

기존의 슬라이스 발견 방법들은 다음과 같은 세 가지 주요 한계점에 직면해 있습니다:

제한된 속성 뱅크: 이들은 사전 정의된 속성 집합이나 시각적 태그에 의존하며, 이는 새로운 형태나 복잡한 편향을 발견하는 능력을 제한합니다.
추론 및 도메인 지식의 부재: 이들은 복잡한 오류 패턴을 해석하는 데 필요한 상식이나 전문적인 도메인 지식(예: 방사학적 병리)이 부족한 경우가 많습니다.
전처리 편향 포착 불가능: 이들은 이미지 픽셀 자체에는 존재하지 않지만 데이터 준비 또는 전처리 과정(예: 메타데이터, DICOM 헤더)에서 도입된 편향을 일반적으로 간과합니다.

또한, 기존의 완화 전략은 편향 속성에 대한 비용이 많이 드는 정답 주석(ground-truth annotations)을 요구하거나, 실제 상황에서는 거의 구할 수 없는 편향의 유형 및 개수에 대한 사전 지식을 가정합니다.

2. 방법론: LADDER

LADDER(Language-Driven Slice Discovery and Error Rectification)는 명시적인 속성 주석 없이도 오류 슬라이스를 자동으로 발견하고 완화하기 위해 대규모 언어 모델(LLM)의 추론 능력과 잠재된 도메인 지식을 활용하는 프레임워크입니다. 이 방법은 다음 세 가지 주요 단계로 작동합니다:

A. 편향을 나타내는 문장 검색

LADDER는 사전 훈련된 분류기 $f$ 의 내부 활성화(internal activations)를 분석하는 것으로 시작합니다.

투영(Projection): 분류기의 이미지 표현 공간( $\Phi$ )을 CLIP 또는 도메인 특화 모델(예: CXR-CLIP)을 사용하여 비전-언어 표현(VLR) 공간( $\Psi_I$ )과 정렬하는 투영 함수 $\pi$ 를 학습합니다.
차이 추정(Difference Estimation): 특정 클래스에 대해, 올바르게 분류된 샘플과 오분류된 샘플의 평균 투영 표현 간의 차이( $\Delta_I$ )를 계산합니다.
검색(Retrieval): 이 차이 벡터를 사용하여 오류 패턴과 의미론적으로 가장 유사한 문장들을 텍스트 코퍼스(예: 이미지 캡션, 방사선 보고서 또는 메타데이터 로그)에서 상위- $K$ 개 추출합니다. 이 문장들은 정답 예측에는 존재하지만 오류에는 결여된 시각적 속성을 설명합니다.

B. LLM을 통한 오류 슬라이스 발견

LADDER는 비지도 클러스터링에 의존하는 대신, LLM을 호출하여 검색된 문장들을 분석합니다.

가설 생성(Hypothesis Generation): LLM은 잠재적 편향(예: "분류기가 흉관(chest tubes)의 존재에 의존한다")에 대한 테스트 가능한 가설 집합( $H$ )을 생성합니다.
프롬프트 구성(Prompt Construction): 각 가설에 대해, LLM은 다양한 맥락에서 해당 속성을 설명하는 구체적인 텍스트 프롬프트( $T$ )를 생성합니다.
슬라이스 식별(Slice Identification): 시스템은 이미지의 투영된 표현과 가설별 텍스트 프롬프트의 평균 임베딩 사이의 유사도 점수( $s_H$ )를 계산합니다. 가설된 속성이 없는 것을 나타내는 낮은 유사도 점수를 가진 이미지들은 잠재적 오류 슬라이스로 표시됩니다. 만약 이 하위 집합에서의 오류율이 전체 클래스 오류율보다 유의미하게 높다면, 이를 오류 슬라이스로 확정합니다.

C. 주석 없는 완화(Mitigation without Annotation)

LADDER는 수동 레이블링 없이 편향을 완화합니다:

의사 레이블링(Pseudo-Labeling): 유사도 점수를 확률로 변환하여 훈련 데이터에 의사 레이블(편향의 존재/부재)을 할당합니다.
앙상블 미세 조정(Ensemble Fine-tuning): 심층 특징 재가중치(Deep Feature Re-weighting, DFR) 접근 방식을 따라, 각 가설에 대해 균형 잡힌 데이터셋을 생성하고 분류기의 선형 헤드를 미세 조정합니다.
추론(Inference): 추론 시, 시스템은 입력 이미지에 대해 최대 유사도 점수를 생성하는 가설과 관련된 디바이어스(debiased) 분류기 헤드를 선택하여 여러 디바이어스 모델을 앙상블하는 효과를 냅니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 설명합니다:

언어 주도적 발견: 단순한 속성의 존재/부재를 넘어 오류를 나타내는 문장을 검색하기 위해 자연어(캡션, 보고서)를 활용합니다.
LLM 추론 및 도메인 지식: 태깅 모델이 놓칠 수 있는 미묘한 편향(예: 특정 질병의 하위 유형 또는 병리 패턴 식별)을 탐지하기 위해 LLM을 활용하여 가설을 생성하고 잠재된 도메인 지식을 적용합니다.
모델 불가지론적(Model Agnosticism): 아키텍처나 사전 훈련 전략에 관계없이 모든 기성(off-the-shelf) 지도 학습 모델로부터 슬라이스를 탐지할 수 있어, Facts나 DrML과 같은 방식의 특정 훈련 요구 사항을 극복합니다.
캡션을 넘어 확장: 구조화된 데이터를 LLM 분석을 위한 텍스트로 변환함으로써 메타데이터(예: 전자 건강 기록, DICOM 헤더)로 편향 탐지를 확장합니다.
주석이 필요 없는 완화: 편향의 유형이나 개수에 대한 사전 지식 없이도 의사 레이블을 생성하고 미세 조정을 수행하여 여러 편향을 동시에 완화합니다.

4. 실험 결과

저자들은 6개의 데이터셋(자연 이미지 3개: Waterbirds, CelebA, MetaShift; 의료 영상 3개: NIH Chest-X-ray, RSNA-Mammo, VinDr-Mammo)에 대해 200개 이상의 분류기와 4개의 서로 다른 LLM을 사용하여 LADDER를 평가했습니다.

슬라이스 발견: LADDER는 Precision@10 측면에서 베이스라인(Domino, Facts)을 크게 상회하였으며, 특히 의료 영상 데이터셋에서 50%의 상당한 개선을 보였습니다. LADDER는 기흉 탐지에서의 "흉관(chest tubes)"이나 조류 분류에서의 "수역(water bodies)"과 같은 실제 정답 편향을 성공적으로 식별했습니다.
편향 완화: 최악 그룹 정확도(Worst Group Accuracy, WGA) 측면에서, LADDER는 최신 완화 베이스라인(GroupDRO, JTT, DFR 등)을 일관되게 앞질렀습니다.
- Waterbirds에서 **91.4%**의 WGA를 달성했습니다 (DFR 대비 3.6% 개선).
- RSNA-Mammo에서 **76.4%**를 달성했습니다 (7.3% 개선).
- VinDr-Mammo에서 **82.5%**를 달성했습니다 (21.1% 개선).
- NIH 데이터셋에서 JTT와 DFR보다 각각 8.2% 및 7.4% 높은 성능을 보였습니다.
강건성: 이 방법은 다양한 아키텍처(ResNet, ViT) 및 사전 훈련 전략(지도 학습, 자기 지도 학습, CLIP) 전반에서 일관된 성능을 입증했습니다.
제로샷 향상: LADDER에 의해 추출된 속성들은 프롬프트를 구성하는 데 사용되어 CLIP 기반 모델의 제로샷 정확도를 향상시켰으며, NIH 데이터셋에서 최대 **+19.05%**의 이득을 얻었습니다.

5. 의의 및 주장

본 논문은 L-ADDER가 사전 지식이나 값비싼 주석 없이 여러 편향을 발견하고 완화할 수 있는 자동화된 방법의 필요성이라는 핵심적인 격차를 해결한다고 주장합니다.

일반화 가능성: 특정 훈련 설정이나 멀티모달 모델에 국한되는 기존 방식과 달리, LADDER는 표준 ERM 훈련 분류기에서도 작동합니다.
도메인 적응성: LLM을 활용함으로써, 고정된 속성 집합으로는 포착하기 어려운 복잡하고 도메인 특화된 편향(예: 방사학적 소견)을 추론할 수 있습니다.
실용성: 이 접근 방식은 비용 효율적이며(실험을 위한 총 LLM 비용은 약 $28), 수동 속성 주석의 병목 현상을 제거합니다.

저자들은 LADDER가 체계적인 편향을 밝혀내고 해결하는 확장 가능하고 일반화 가능한 접근 방식을 제공하여, 일반 컴퓨터 비전 및 중요한 의료 응용 분야 모두에서 AI 모델의 신뢰성과 공정성을 높일 수 있다고 결론짓습니다. 또한, 발견 과정에서 캡션에 의존한다는 현재의 한계점(단, 이를 해결하기 위한 지시어 튜닝 모델을 대안으로 제시함)과 사용된 기초 LLM의 내재적 편향 가능성을 인정합니다.