Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks

이 논문은 기존 참조 표현 이해 (REC) 벤치마크의 단점을 보완하고 단순한 단서 의존성을 배제하기 위해 고안된 'Ref-Adv'라는 새로운 벤치마크를 제시하며, 이를 통해 최신 멀티모달 LLM 들이 기존 데이터셋에서는 높은 성능을 보이지만 실제 시각적 추론과 정밀한 grounding 능력에서는 심각한 한계를 드러냄을 규명합니다.

핵심

1. 문제: 기존 시험지는 너무 쉬웠어요 (과거의 상황)

기존에 쓰이던 시험지 (RefCOCO 등) 는 AI 를 평가하는 데 큰 문제가 있었습니다. 세 가지 치명적인 약점이 있었죠.

• 문제 1: 질문이 너무 짧아요.
  • 예: "빨간 사과"라고만 물어봤습니다.
  • 비유: 시험지 한 장에 "사과"라고만 적혀 있고, 그 옆에 사과가 하나뿐이라면, AI 는 사과를 찾아야 한다는 걸 알기만 해도 정답을 맞출 수 있습니다. 진짜 '이유'를 생각할 필요가 없죠.
• 문제 2: 방해물이 없어요.
  • 그림에 사과가 하나만 있고, 다른 과일이나 물건이 없으면 AI 는 고민할 필요가 없습니다.
  • 비유: "검은색 차를 찾아줘"라고 할 때, 주차장에 검은색 차가 하나뿐이라면 누구든 쉽게 찾을 수 있죠.
• 문제 3: 요령 (Shortcut) 을 부리기 좋아요.
  • 질문이 길고 상세할수록, AI 는 전체 문장을 읽지 않고 일부 단어만 보고 정답을 맞출 수 있습니다.
  • 비유: "빨간색이고, 잎이 있고, 줄기가 있는 과일"이라고 물어봤을 때, AI 는 '과일'이라는 단어만 보고 사과를 찾아도 맞출 수 있습니다. '빨간색'이나 '잎' 같은 중요한 정보는 무시해도 되죠.

이 때문에 AI 는 기존 시험에서 90% 이상을 맞췄지만, 실제론 그림을 깊이 있게 이해하지 못했던 것입니다.

2. 해결책: 새로운 시험지 'Ref-Adv'를 만들었습니다

저자들은 AI 가 진짜로 **추론 (Reasoning)**을 할 수 있는지 확인하기 위해, 요령을 부릴 수 없는 새로운 시험지 Ref-Adv를 만들었습니다.

• 핵심 전략 1: '가짜' 방해물을 많이 넣었어요.
  • "검은색 차"를 찾으라고 할 때, 검은색 차가 5 대나 있고, 그중 하나만 문이 살짝 열려있거나 창문 색이 다르도록 만들었습니다.
  • 비유: "검은색 차 중, 문이 열린 차를 찾아줘"라고 할 때, 검은색 차가 5 대나 있으면 AI 는 차를 다 보고 문이 열린 차를 찾아야 합니다.
• 핵심 전략 2: 질문을 정교하게 만들었어요.
  • 단순히 "사과"가 아니라, "가장 왼쪽에 있고, 반쯤 먹힌 사과"처럼 **부정 (Negation)**이나 비교를 포함시켰습니다.
  • 비유: "빨간 사과"가 아니라, **"빨간 사과가 아닌, 초록 사과"**를 찾으라고 하면 AI 는 '아니'라는 단어의 의미를 이해하고 시각적으로 확인해야 합니다.
• 핵심 전략 3: 불필요한 정보는 빼냈어요.
  • 질문의 모든 정보가 정답을 찾기 위해 꼭 필요하도록 만들었습니다.
  • 비유: "빨간색이고, 줄기가 있고, 잎이 있는 사과"라고 할 때, 만약 빨간색만 봐도 찾을 수 있다면 그건 요령입니다. Ref-Adv 는 모든 정보 (빨간색, 줄기, 잎) 를 다 확인해야만 정답을 찾을 수 있게 설계했습니다.

3. 실험 결과: AI 들이 당황했어요

이 새로운 시험지 (Ref-Adv) 로 최신 AI 모델들 (GPT-4o, Gemini, Qwen 등) 을 시험해봤습니다.

• 기존 시험 (RefCOCO): AI 들이 90% 이상을 맞췄습니다. (점수: A+)
• 새로운 시험 (Ref-Adv): AI 들의 점수가 뚝 떨어졌습니다. (점수: C~B)
  • 많은 AI 가 "가장 비슷한 방해물 (Hard Distractor)"을 정답으로 골라 틀렸습니다.
  • 비유: "문이 열린 검은색 차"를 찾으라고 했는데, AI 는 문이 닫힌 검은색 차를 찾아 "아, 검은색 차잖아!"라고 답한 꼴입니다.

4. 결론: AI 는 아직 '생각'을 배워야 합니다

이 논문의 핵심 메시지는 다음과 같습니다.

"지금까지 AI 가 점수를 잘 맞췄다고 해서, 그림을 잘 이해한다고 착각하면 안 됩니다. AI 는 **요령 (Shortcut)**만 부리고 있었을 뿐입니다. 진짜 복잡한 상황을 이해하려면, **단어를 읽고, 그림을 비교하고, 논리적으로 생각 (Reasoning)**하는 능력이 훨씬 더 필요합니다."

저자들은 이 새로운 시험지 (Ref-Adv) 를 공개하여, 앞으로 개발될 AI 들이 진짜로 눈과 머리를 함께 쓰는 똑똑한 모델이 되기를 기대합니다.

---

한 줄 요약:
"기존 시험지는 너무 쉬워서 AI 가 요령만 부렸는데, 이제 '방해물이 많고 질문이 까다로운' 새로운 시험지로 AI 의 진짜 실력을 가려냈더니, AI 들이 많이 못 맞췄습니다. AI 는 이제부터 진짜 '생각'을 해야 합니다!"

기술 요약

1. 문제 정의 (Problem)

참조 표현 이해 (Referring Expression Comprehension, REC) 는 자연어 표현을 이미지 내 특정 영역에 연결하는 작업입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 은 기존 벤치마크 (RefCOCO, RefCOCO+, RefCOCOg) 에서 90% 이상의 높은 정확도를 기록하며 성숙기에 접어들었습니다. 그러나 저자들은 이러한 기존 벤치마크가 MLLM 의 진정한 시각적 추론 (Visual Reasoning) 과 그라운딩 (Grounding) 능력을 평가하는 데에는 한계가 있다고 지적합니다.

주요 한계점은 다음과 같습니다:

• 짧은 표현: 평균 어휘 수가 약 3 단어로 매우 짧아 언어적 추론 요구도가 낮습니다.
• 경쟁 대상 (Distractor) 부족: 이미지 내 타겟과 동일한 카테고리이지만 다른 인스턴스 (경쟁 대상) 가 거의 없어, 모델이 전체 표현을 이해하지 않고도 쉽게 타겟을 찾을 수 있습니다.
• 단축 경로 (Shortcuts) 활용: 긴 설명이 많지만 경쟁 대상이 적으면, 모델은 전체 문장을 이해할 필요 없이 일부 중복된 설명자 (descriptor) 만 매칭하여 정답을 유추할 수 있습니다 (Grounding Shortcuts).

이로 인해 기존 벤치마크의 높은 점수는 실제 추론 능력의 과대평가로 이어질 수 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하고 진정한 추론 능력을 평가하기 위해 Ref-Adv라는 새로운 REC 벤치마크를 제안했습니다.

데이터 구축 프로세스 (Ref-Adv Dataset Construction)

Ref-Adv 는 COCO 와 OpenImages v7 데이터셋에서 추출된 이미지를 기반으로 하며, 다음과 같은 엄격한 가이드라인을 적용하여 데이터를 구성했습니다:

1. 경쟁 대상 압박 (Distractor Pressure): 타겟과 동일한 카테고리의 인스턴스가 최소 3 개 이상 존재하는 이미지를 필터링하여, 카테고리만으로는 타겟을 특정할 수 없도록 합니다.
2. 언어적 복잡성: 자연어 생성 모델 (LLM, 예: GPT-4o) 을 활용하여 평균 11.5 단어 길이의 자연스럽고 다양한 참조 표현을 생성합니다.
3. 어려운 경쟁 대상 (Hard Distractors): 단순히 경쟁 대상 수를 늘리는 것을 넘어, 타겟과 부분적으로 일치하지만 정확히 일치하지는 않는 '어려운 경쟁 대상'을 포함시킵니다. 이는 모델이 모든 설명자를 정확히 이해하고 부정 (negation) 을 처리해야만 정답을 찾을 수 있게 합니다.
4. 생성 파이프라인:
   • 이미지 준비: 후보 인스턴스에 번호 태그를 부착합니다.
   • 유사성 판단: LLM 을 사용하여 타겟과 가장 유사한 경쟁 대상 쌍을 식별하고, 그룹 간 및 그룹 내 인스턴스를 구분하는 설명자를 도출합니다.
   • 표현 생성: 도출된 설명자를 기반으로 최소 충분 (minimally sufficient) 한 참조 문장을 생성하며, 부정 (negation) 을 적극 활용합니다.
   • 인간 검증: 3 명의 어노테이터가 표현의 정확성과 어려운 경쟁 대상의 존재 여부를 확인하여 데이터 품질을 보장합니다.

실험 설정

• 평가 모델: Qwen2.5-VL, InternVL-3, Gemini 2.5, GPT-4o, Claude-3.5 등 최신 폐쇄형 및 오픈소스 MLLM 13 개를 평가했습니다.
• 평가 방법: Set-of-Marks (SoM) 기법을 사용하여 객체 위치를 정확히 식별하도록 돕고, Chain-of-Thought (CoT) 유무에 따른 성능을 비교했습니다.
• 분석: 단어 순서 무작위화 (Bag-of-Words) 및 설명자 삭제 (Descriptor Deletion) 실험을 통해 모델이 진정한 추론을 하는지, 아니면 단축 경로를 사용하는지 검증했습니다.

3. 주요 기여 (Key Contributions)

1. Ref-Adv 벤치마크 제안: 기존 벤치마크의 단점을 보완하고, 복잡한 텍스트 및 시각적 추론을 동시에 요구하는 현대적인 REC 벤치마크를 최초로 제안했습니다.
2. 단축 경로 제거: '어려운 경쟁 대상'과 '최소 충분 설명자'를 통해 모델이 불필요한 단서를 피하고 진정한 의미론적 이해를 하도록 강제합니다.
3. 포괄적인 평가 및 분석: 다양한 MLLM 을 대상으로 한 대규모 평가와 함께, CoT 의 효과, 경쟁 대상 수에 따른 성능 변화, 그리고 실패 사례에 대한 심층 분석을 제공했습니다.
4. 재현성 확보: 1,142 개의 사례로 구성된 서브셋 (Ref-Adv-s) 과 평가 코드를 공개하여 향후 연구의 재현성을 보장합니다.

4. 결과 (Results)

• 성능 급감: 기존 RefCOCO 계열 벤치마크에서 90% 이상의 높은 정확도를 보였던 최신 MLLM 들은 Ref-Adv 에서 성능이 현저히 하락했습니다. (예: Qwen2.5-VL-72B 는 RefCOCO 에서 90% 대였으나 Ref-Adv 에서는 약 54% 수준으로 하락).
• 단축 경로 의존성 확인:
  • 단어 순서 무작위화: 기존 벤치마크에서는 단어 순서를 바꿔도 성능이 크게 떨어지지 않았으나, Ref-Adv 에서는 큰 하락 (-16.8% 등) 을 보여 텍스트 이해의 필요성을 입증했습니다.
  • 설명자 삭제: 기존 벤치마크에서는 일부 설명자를 삭제해도 성능이 유지되었으나, Ref-Adv 에서는 삭제 시 성능이 크게 저하되어 모델이 모든 설명자를 통합적으로 이해해야 함을 보여줍니다.
• CoT 의 효과: 추론 요구도가 높은 Ref-Adv 에서는 Chain-of-Thought (CoT) 프롬프팅이 성능 향상에 유의미한 도움을 주었습니다. 반면, 추론이 덜 필요한 기존 벤치마크에서는 CoT 가 오히려 성능을 저하시키거나 큰 도움이 되지 않았습니다.
• 경쟁 대상 영향: 경쟁 대상이 7 개 이상인 경우, 모델의 성능이 크게 떨어지는 경향을 보이며 이는 현재 MLLM 이 복잡한 시각적 분별 능력에서 여전히 취약함을 시사합니다.

5. 의의 (Significance)

이 논문은 현재 MLLM 의 시각적 추론 및 그라운딩 능력이 기존 벤치마크의 높은 점수만큼 강력하지 않을 수 있음을 경고합니다. Ref-Adv 는 모델이 단순한 패턴 매칭이나 단축 경로를 피하고, 복잡한 언어적 제약과 시각적 맥락을 통합하여 다단계 추론을 수행하는 능력을 평가하는 새로운 표준을 제시합니다. 이는 향후 더 견고하고 실제 세계의 복잡성을 반영하는 MLLM 을 개발하기 위한 중요한 방향성을 제시하며, 시각적 추론 연구의 새로운 지평을 엽니다.