Multimodal Large Language Models as Image Classifiers

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 의 분류 성능 저하가 모델 자체의 결함이 아니라 노이즈가 있는 라벨과 결함 있는 평가 프로토콜에서 비롯된 것이며, 이를 교정하면 기존 지도 학습 모델과의 격차가 크게 줄어들고 인간 어노테이터의 지원 도구로도 활용 가능함을 입증합니다.

핵심

이 논문은 **"멀티모달 대형 언어 모델 (MLLM)"**이라는 최신 AI 들이 이미지를 분류하는 능력을 평가할 때, 우리가 그동안 잘못 알고 있던 점들을 바로잡고 더 공정하게 측정하는 방법을 제시한 연구입니다.

비유하자면, 이 논문은 **"AI 가 시험을 볼 때, 문제지 (데이터) 가 엉망이었고, 채점 규칙 (평가 방법) 도 잘못되어 있어서 AI 의 실력을 제대로 알 수 없었다"**는 것을 발견하고, **"진짜 실력을 알 수 있도록 문제지를 고치고 채점 방식을 바꿨다"**는 이야기입니다.

주요 내용을 쉽게 풀어서 설명해 드릴게요.

---

1. 왜 이 연구가 필요했을까? (기존의 문제점)

지금까지 AI 의 이미지 분류 능력을 평가할 때 두 가지 큰 문제가 있었습니다.

• 문제 1: 엉터리 정답지 (Ground Truth의 결함)

  • 기존에 쓰이던 'ImageNet'이라는 데이터셋은 AI 가 학습하고 시험을 보는 데 쓰이는 '정답지' 역할을 했습니다. 하지만 이 정답지가 너무 오래되어서 정답이 틀린 경우가 많았거나, 한 사진에 여러 가지 사물이 섞여 있어 정답이 하나로 정해지지 않는 경우가 많았습니다.
  • 비유: 마치 "사과 사진"을 보여주고 정답을 고르게 하는데, 정답지가 "배"라고 적혀 있거나, "사과와 오렌지가 섞인 사진"인데 정답이 "사과"라고만 되어 있는 상황입니다. AI 가 "아, 이건 사과야!"라고 말해도 채점자가 "아니야, 정답은 배야"라고 틀렸다고 표시하는 꼴입니다.

• 문제 2: 편파적인 시험 방식 (평가 프로토콜의 문제)

  • AI 에게 시험을 볼 때, **정답을 미리 알려주고 고르라고 하는 방식 (다지선다형)**을 많이 썼습니다. 하지만 이 방식은 AI 가 진짜로 사물을 잘 구분하는지, 아니면 단순히 "나쁜 보기 (오답) 들이 너무 쉬워서" 찍어서 맞히는 건지 구분하기 어렵게 만들었습니다.
  • 또한, AI 가 정답 목록에 없는 말을 했을 때 (예: 정답이 '강아지'인데 AI 가 '포메라니안'이라고 말함) 를 무조건 틀린 것으로 처리하기도 했습니다.

2. 연구팀이 한 일 (해결책)

연구팀은 이 문제를 해결하기 위해 세 가지 큰 작업을 했습니다.

① 정답지를 다시 고침 (ReGT: 재주석)

• ImageNet 의 625 개 카테고리 (약 3 만 장의 이미지) 를 전문가들이 다시 꼼꼼히 확인했습니다.
• 결과: AI 들이 기존 정답지를 보고 "틀렸다"고 생각했던 많은 경우가, 사실은 정답지가 잘못되었기 때문이라는 것을 발견했습니다.
• 효과: 정답지를 고치니, AI 들의 점수가 평균 최대 10.8% 까지 급상승했습니다. 특히 기존에 "AI 는 supervised(지도학습) 모델보다 못한다"고 알려졌던 격차가 거의 반으로 줄었습니다.

② 시험 방식을 다양하게 바꿈 (OW, MC, CW+)

• Open-World (OW): 정답 목록 없이 AI 가 자유롭게 답을 말하게 합니다. (예: "이건 뭐야?"라고 물으면 AI 가 "고양이"라고 답함)
• Multiple-Choice (MC): 보기 4 개 중 하나를 고르게 합니다. (기존 방식)
• Closed-World+ (CW+): 정답 목록을 모두 보여주지만, AI 가 목록에 없는 말을 해도 가장 비슷한 정답으로 자동 매핑해 주는 새로운 방식을 도입했습니다.
  • 비유: AI 가 "포메라니안"이라고 말했을 때, "목록에 없으니 틀렸다"고 하지 않고, "아, 포메라니안은 강아지 종류니까 '강아지'로 인정해 주자"고 하는 것입니다.

③ AI 가 인간을 도와주는지 확인함

• 연구팀은 인간 annotator(데이터 라벨링 작업자) 들에게 AI 가 틀린다고 지적한 이미지들을 다시 확인하게 했습니다.
• 결과: 어려운 경우의 약 **50%**에서 인간 작업자들이 "AI 가 맞았어, 우리 정답이 틀렸구나"라고 인정했습니다. 즉, AI 가 인간의 실수를 찾아내는 훌륭한 보조 도구가 될 수 있다는 것을 증명했습니다.

3. 주요 발견 (인사이트)

• AI 는 정답지가 깨끗해지면 훨씬 잘한다: AI 들은 인간이 만든 '지저분한 정답지'에 너무 의존하지 않고, 사실은 사물을 잘 보고 있었습니다. 정답지를 정리해주니 실력이 확 올라갔습니다.
• 학습 방식에 따른 차이: 기존에 많은 데이터를 보고 학습한 '지도학습 모델'은 정답지가 바뀌어도 점수 변화가 적었습니다. 반면, 새로운 방식 (MLLM) 은 정답지가 고쳐지면 점수가 크게 오르는 등 데이터의 품질에 매우 민감했습니다.
• 시험 방식이 점수를 왜곡함: 보기 (distractor) 를 어떻게 고르느냐에 따라 AI 의 점수가 10~15% 까지 달라질 수 있었습니다. 즉, "어떤 시험을 치르게 하느냐"에 따라 AI 의 능력이 다르게 평가받을 수 있다는 경고입니다.

4. 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 가 못한다고 단정하기 전에, 우리가 만든 시험지와 채점 기준부터 다시 봐야 한다"**고 말합니다.

• 과거의 시각: "AI 는 전문적인 이미지 분류를 못하니까 아직 실용화하기 어렵다."
• 이 논문의 시각: "아니야, AI 는 사실 잘하는데, 우리가 엉터리 정답지로 시험을 보게 하고, 너무 쉬운 시험지를 줬거나, AI 의 정답을 제대로 인정해주지 않아서 점수가 낮게 나온 거야. 정답지를 고치고 공정한 시험을 치르면 AI 는 이미 인간과 비슷한 수준, 혹은 그 이상으로 뛰어날 수 있어."

한 줄 요약:

"AI 의 실력을 평가할 때, AI 가 못해서가 아니라 우리가 만든 '정답지'와 '시험 방식'이 문제였음을 밝혀냈고, 이를 바로잡으니 AI 의 잠재력이 훨씬 더 빛을 발한다는 것을 증명했습니다."

이 연구는 앞으로 더 깨끗한 데이터셋과 공정한 평가 기준이 필요함을 강조하며, AI 가 인간의 데이터 정리 작업을 도와주는 '동료'가 될 수 있음을 보여줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

최근 멀티모달 대형 언어 모델 (MLLM) 의 성능 평가는 주로 다중 선택형 질문 (Multiple-Choice, MC) 형식을 통해 이루어지고 있습니다. 그러나 MLLM 을 기존 지도 학습 기반의 컴퓨터 비전 모델 (Supervised Models) 이나 비전 - 언어 모델 (VLM, 예: CLIP, SigLIP) 과 이미지 분류 태스크에서 비교할 때, 연구 결과들이 상충되는 결론을 보이고 있습니다.

이러한 혼란의 핵심 원인은 부적절한 평가 프로토콜과 불완전한 정답 레이블 (Ground Truth, GT) 의 질에 있습니다.

• 평가 프로토콜의 문제:
  • Open-World (OW): 모델이 자유 형식의 텍스트를 생성하게 하지만, 이를 클래스 매핑할 때 단순 문자열 매칭을 사용하면 성능이 과소평가됩니다.
  • Multiple-Choice (MC): 쉬운 오답 (distractor) 을 사용할 경우 모델 성능이 실제보다 과대평가됩니다.
  • Closed-World (CW): 전체 클래스 목록을 입력하지만, 모델이 제공된 목록 밖의 답변 (Out-of-Prompt, OOP) 을 생성하는 경우 이를 단순히 오답으로 처리하여 성능을 낮게 평가합니다.
• 데이터의 문제: ImageNet-1k 는 오랫동안 표준 데이터셋으로 사용되어 왔으나, 약 20% 의 레이블 오류, 다중 객체 포함, 클래스 정의의 모호함 등 심각한 노이즈를 포함하고 있습니다. 이는 MLLM 과 같은 최신 모델의 실제 능력을 왜곡하여 평가하게 만듭니다.

2. 방법론 (Methodology)

저자들은 ImageNet-1k 검증 세트의 625 개 클래스에 대해 **재주석 (Reannotation, ReGT)**을 수행하고, 이를 바탕으로 세 가지 주요 평가 태스크를 체계적으로 비교 분석했습니다.

2.1. 데이터 재주석 (ReGT)

• 범위: ImageNet-1k 검증 세트 중 625 개 클래스를 대상으로 재주석 수행.
• 전략: 전문가 수준의 지식 없이도 식별 가능한 동물 종을 제외한, 애매모호한 세부 분류 (fine-grained) 는 제외하고 명확한 객체를 중심으로 재주석.
• 레이블 카테고리:
  • S (Single-label): 단일 객체 이미지.
  • M (Multi-label): 다중 객체 이미지.
  • N (None): ImageNet 레이블이 존재하지 않는 이미지.
  • Agreement/Disagreement: 원본 레이블 (ImGT) 과 재주석 레이블 (ReGT) 의 일치/불일치 여부로 세분화.

2.2. 평가 태스크 및 개선된 프로토콜

1. Open-World (OW): 모델이 자유 형식 텍스트를 생성하고, 이를 텍스트 임베딩 공간 (Text Embedding Space) 에서 가장 가까운 클래스와 매칭. (기존의 단순 문자열 매칭 대신 임베딩 기반 매칭 사용).
2. Multiple-Choice (MC): 4 지선다형. 오답 (distractor) 생성 전략을 단순 무작위에서, EVA-02 모델의 혼동 행렬 (Confusion Matrix) 기반의 어려운 오답으로 변경하여 평가 강도를 높임.
3. Closed-World (CW+): 기존 CW 태스크의 한계를 해결하기 위해 제안된 방법.
   • 모델이 제공된 1,000 개 클래스 목록 밖의 답변 (OOP) 을 생성하더라도, 이를 임베딩 공간에서 가장 가까운 클래스로 매핑하여 정답으로 간주하는 후처리 (Post-processing) 방식을 도입.
   • 이는 비용이 많이 드는 제약적 디코딩 (Constrained Decoding) 없이 OOP 문제를 해결하여 완전한 1,000 클래스 평가를 가능하게 함.

2.3. 실험 설정

• 모델: GPT-4o, Qwen3-VL, LLaVA-OneVision, InternVL3.5, PaliGemma 2 등 5 가지 MLLM 과 SigLIP, DINOv3, EfficientNet 등 VLM 및 지도 학습 모델 비교.
• 분석 요소: 배치 크기 (Batch size), 이미지 순서, 텍스트 인코더 선택, 오답 (Distractor) 선택 전략 등이 정확도에 미치는 영향 분석.

3. 주요 기여 (Key Contributions)

1. 개선된 MLLM 이미지 분류 벤치마크:

   • OW, MC, CW(+) 세 가지 태스크를 단일 프레임워크에서 체계적으로 평가.
   • CW+ 도입으로 OOP (Hallucination) 문제를 해결하고 전체 클래스 평가 가능.
   • ImageNet 의 레이블 노이즈를 해결한 ReGT (625 클래스) 제공.

2. 학습 패러다임별 레이블 노이즈 민감도 규명:

   • MLLM 은 레이블이 수정된 ReGT 에서 가장 큰 성능 향상 (최대 +10.8%) 을 보임.
   • 이는 기존 보고된 MLLM 의 낮은 분류 성능이 모델의 결함이 아니라 노이즈가 많은 정답 레이블과 결함 있는 평가 프로토콜의 산물임을 입증.
   • 지도 학습 신호에 덜 의존하는 모델일수록 레이블 품질 변화에 더 민감하게 반응함.

3. 평가 프로토콜 민감도 정량화:

   • 오답 (Distractor) 선택, 배치 크기, 이미지 순서, 출력 형식, 텍스트 인코더 등 간과되던 설계 선택이 정확도에 지대한 영향을 미침 (예: 혼동 행렬 기반 오답은 무작위 오답 대비 10~15% 성능 저하 유발).

4. MLLM 을 통한 주석 보조 (Annotation Assistance):

   • 통제된 사례 연구에서 인간 주석자가 어려운 사례의 약 50% 에서 MLLM 예측을 수용하거나 레이블을 수정함.
   • MLLM 이 대규모 데이터셋 정제 (Curation) 과정에서 인간 주석자의 강력한 보조 도구로 활용 가능함을 입증.

4. 실험 결과 (Results)

• 성능 격차 축소: ReGT 를 사용한 평가에서 MLLM 과 지도 학습 모델 간의 성능 격차가 크게 축소됨 (예: GPT-4o 는 약 6% 향상).
• 모델별 반응:
  • MLLM: ReGT 적용 시 가장 큰 이득을 얻음 (PaliGemma 2: +10.8%, LLaVA-OV: +8.6%). 이는 MLLM 이 기존 ImageNet 레이블의 노이즈에 의해 성능이 저평가되었음을 시사.
  • 지도 학습 모델: ReGT 에 따른 성능 향상폭이 상대적으로 작음 (EVA-02: -0.1%, EfficientNet-L2: +0.7%). 이는 지도 학습 모델이 원본 레이블 공간에 더 강하게 고정 (Anchored) 되어 있음을 의미.
• 평가 태스크별 차이:
  • CW+ vs CW: CW+ (임베딩 매핑 적용) 는 기존 CW 대비 모든 모델에서 성능이 향상되었으며, 특히 OOP 발생률이 높은 모델 (LLaVA-OV 등) 에서 개선 폭이 큼.
  • OW vs CW: 일부 모델 (LLaVA-OV, Qwen3-VL) 은 OW 환경에서 CW 환경보다 높은 성능을 보임 (기존 연구 결과와 상반됨). 이는 매핑 방법 (임베딩 vs 문자열) 의 차이에서 기인.
• 다중 선택형 (MC) 평가의 한계: 쉬운 오답을 사용할 경우 성능이 과대평가되며, 어려운 오답 (Confusion Matrix 기반) 을 도입하면 성능이 10~15% 하락하여 모델의 실제 능력을 더 정확히 반영.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 의 이미지 분류 능력을 평가할 때 **데이터의 질 (Ground Truth)**과 평가 프로토콜의 엄격함이 얼마나 중요한지를 명확히 보여줍니다.

• 모델의 결함이 아닌 데이터의 문제: 기존 연구에서 MLLM 이 전통적인 비전 모델보다 열등하다는 결론은 대부분 ImageNet 의 노이즈가 많은 레이블과 부적절한 평가 방식 (예: OOP 무시, 쉬운 MC) 에 기인한 인위적 결과였습니다.
• 새로운 평가 표준: CW+ 와 같은 개선된 프로토콜과 ReGT 와 같은 깨끗한 데이터셋은 MLLM 과 VLM, 지도 학습 모델 간의 공정한 비교를 가능하게 합니다.
• 실용적 활용: MLLM 은 단순한 분류기를 넘어, 인간 주석자의 오류를 발견하고 수정하는 지능형 주석 보조 도구로서 대규모 데이터셋 정제 파이프라인에 통합될 수 있음을 입증했습니다.

결론적으로, MLLM 은 시각 인식 분야에서 큰 잠재력을 가지고 있으며, 더 깨끗한 벤치마크와 원칙적인 평가 프로토콜 하에서 그 진정한 성능이 발휘될 수 있음을 시사합니다.