GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation

본 논문은 기존 벤치마크의 한계를 지적하고, 구별, 공간, 제한, 거부라는 네 가지 차원에서 MLLM 의 실제 시각적 그라운딩 능력을 평가하는 새로운 벤치마크 'GroundingME'를 제안하며, 이를 통해 현재 모델들의 심각한 성능 격차를 드러내고 개선 방향을 제시합니다.

핵심

이 논문은 **"GroundingME"**라는 새로운 시험지를 만들어, 최신 인공지능 (MLLM) 이 정말로 세상을 '눈'으로 보고 이해하는지, 아니면 단순히 암기나 패턴만 외운 것인지 검증한 연구입니다.

비유를 들어 쉽게 설명해 드릴게요.

1. 문제 상황: "가짜 천재"를 찾아내다

지금까지 인공지능 모델들은 기존 시험지 (벤치마크) 에서 90% 이상을 맞혀 '천재'라고 불렸습니다. 하지만 이 시험지는 너무 쉬웠어요.

• 기존 시험지: "오른쪽에 있는 꽃병"이라고 하면, 꽃병이 하나뿐이라서 그냥 '꽃병'이라는 단어만 찾으면 됐습니다. (비유: 친구가 "내 옆에 있는 사람"이라고 하면, 옆에 사람이 한 명뿐이라서 아무나 가리키면 맞음)
• 실제 상황: 복잡한 거리에서 "검은색 코트를 입고, 흰색 벨트는 없으며, 검은 바지를 신은 사람"을 찾으라고 하면, 비슷한 옷을 입은 수많은 사람들 사이에서 정확한 사람을 골라내야 합니다.

인공지능들은 이 복잡한 상황에서는 완전히 망했습니다. 마치 시험지를 외워서 답만 맞히는 학생처럼, 실제 상황에서는 엉뚱한 것을 가리키거나, 아예 없는 물체를 찾으라고 하면 "없다"고 말하지 못하고 엉뚱한 것을 가리켰습니다.

2. 해결책: GroundingME (진짜 실력 시험지)

저자들은 인공지능의 진짜 실력을 보기 위해 GroundingME라는 새로운 시험지를 만들었습니다. 이 시험지는 4 가지 난이도 높은 과제로 구성되어 있습니다.

1. 구별하기 (Discriminative): "비슷하게 생긴 비행기 3 대 중 가장 오른쪽에 있는 것"처럼, 매우 비슷해 보이는 것들 사이에서 정답을 골라내는 것입니다. (비유: 쌍둥이 중 누가 내 친구인지 구별하기)
2. 공간 이해 (Spatial): "오른쪽에서 두 번째 탑의 왼쪽에 있는 기와"처럼, 복잡한 위치 관계를 이해하는 것입니다. (비유: 미로 지도를 보고 정확한 위치 찾기)
3. 제한된 조건 (Limited): "가려진 물체"나 "너무 작아 barely 보이는 물체"를 찾는 것입니다. (비유: 구름 뒤에 살짝 보이는 달이나, 먼 곳의 작은 새 찾기)
4. 거부하기 (Rejection): 가장 중요한 부분입니다. "화장실에 있는 빨간색 세탁기"라고 물었는데, 실제로는 검은색이거나 없다면, 인공지능은 "없습니다"라고 정직하게 말해야 합니다. 하지만 기존 모델들은 없는 물체도 억지로 찾아내려 했습니다.

3. 충격적인 결과: "천재"는 가짜였다?

이 시험지로 25 개의 최신 인공지능 모델 (Qwen, Gemini, Llama 등) 을 테스트했습니다. 결과는 충격적이었습니다.

• 최고 성능 모델: 겨우 **45%**만 맞췄습니다. (기존 시험지에서는 90% 이상 맞췄음)
• 거부 능력: "없는 물체 찾기" 과제는 대부분의 모델이 **0%**를 기록했습니다. 즉, 없는 것을 있다고 우기는 '환각 (Hallucination)' 현상이 심각했습니다.

4. 어떻게 고칠 수 있을까? (두 가지 처방전)

저자들은 이 문제를 해결하기 위해 두 가지 방법을 실험했습니다.

• 방법 1: 생각의 시간을 늘리기 (Test-Time Scaling)

  • 인공지능에게 바로 답을 내지 말고, **생각하는 과정 (Thinking Trajectory)**을 먼저 적게 했습니다.
  • 마치 학생이 문제를 풀 때, "일단 이 부분은 맞지 않네... 저건 색깔이 다르네..."라고 스스로 논리적으로 검토하게 한 것입니다.
  • 그중에서 가장 논리적인 답을 골라내니 성능이 조금씩 향상되었습니다.

• 방법 2: '거부'하는 법을 가르치기 (Data-Mixture Training)

  • 인공지능이 "없는 것"을 못 찾는 이유는 훈련 데이터에 "없는 경우"가 없었기 때문입니다.
  • 그래서 **정답이 없는 부정적인 예시 (Negative Samples)**를 훈련 데이터에 섞어서 다시 가르쳤습니다.
  • 그 결과, "거부"하는 능력은 0% 에서 **27.9%**까지 크게 향상되었습니다. (하지만 아직 완벽하지는 않음)

5. 결론: 아직 갈 길이 멀다

이 논문은 우리에게 중요한 메시지를 줍니다.

"인공지능이 시험 점수는 잘 맞지만, 실제 세상에서 복잡한 상황을 이해하고, '모른다'고 정직하게 말하는 능력은 아직 인간에 비해 매우 부족하다."

GroundingME 는 인공지능이 얼마나 발전했는지, 그리고 어디가 약한지를 정확히 보여주는 '진단 도구'이자, 더 안전하고 신뢰할 수 있는 AI 를 만들기 위한 로드맵이 될 것입니다.

한 줄 요약:

"인공지능이 시험지 암기로는 천재처럼 보이지만, 복잡한 현실에서는 엉뚱한 답을 하거나 없는 것을 있다고 우기 때문에, 진짜 실력을 측정하는 새로운 시험지 (GroundingME) 가 필요하다!"

기술 요약

1. 문제 제기 (Problem)

멀티모달 대규모 언어 모델 (MLLMs) 은 기존 벤치마크 (RefCOCO, Ref-L4 등) 에서 높은 정확도를 기록하고 있지만, 실제 복잡한 환경에서의 시각적 그라운딩 (Visual Grounding) 능력은 여전히 의문시됩니다.

• 기존 벤치마크의 한계: 기존 데이터셋은 단순한 문장이나 명확한 공간 관계를 다루어, 모델이 복잡한 추론 없이도 키워드 매칭 (Shortcut) 으로 높은 점수를 얻을 수 있게 합니다.
• 실제 복잡성 부재: 인간은 복잡한 참조 표현을 이해하고, 시각적 증거가 부족하거나 설명이 틀린 경우 (Reject) 이를 식별할 수 있지만, 기존 벤치마크는 이러한 '거부 (Rejection)' 능력과 미세한 차이를 구별하는 능력을 평가하지 못합니다.
• 핵심 질문: MLLM 이 인간과 유사한 수준의 시각적 그라운딩이 가능한지, 아니면 단순히 단순화된 데이터 패턴을 암기하고 있는 것인지 확인이 필요합니다.

2. 방법론 (Methodology)

저자들은 GroundingME라는 새로운 벤치마크를 제안하고, 이를 통해 25 개의 최신 MLLM 을 평가했습니다.

A. GroundingME 벤치마크 구축

• 데이터 소스: SA-1B 와 HR-Bench(8K 고해상도) 를 활용하여 복잡한 장면과 작은 객체를 포함하도록 구성했습니다.
• 구축 파이프라인:
  1. 바운딩 박스 주석: RAM++ 와 GroundingDINO 를 활용한 자동화 파이프라인과 수동 주석을 결합.
  2. 설명 생성: Gemini-2.5-Flash 를 활용하여 객체의 시각적 속성과 공간적 관계를 포함한 상세한 설명 생성.
  3. 수동 선별 및 정제: 인간 어노테이터가 설명의 유일성, 사실 정확도, 과부족 제거 등을 검증하여 1,005 개의 고품질 샘플 확보.
• 4 가지 핵심 평가 차원 (Dimensions):
  1. Discriminative (구별): 매우 유사한 객체들 간의 미세한 차이 (색상, 텍스처, 구성 요소 등) 를 식별.
  2. Spatial (공간): 복잡한 공간적 관계 및 상대적 위치 이해.
  3. Limited (제한): 가려짐 (Occlusion) 이나 초소형 객체 (Small) 처럼 시각적 정보가 제한된 상황.
  4. Rejection (거부): 시각적 사실과 일치하지 않는 잘못된 설명을 식별하고 거부하는 능력.

B. 평가 및 개선 전략

• 평가 대상: Qwen3-VL, GLM-4.5V, Gemini-2.5, Seed-1.6-Vision 등 25 개의 상용 및 오픈소스 모델 (2B~235B 파라미터).
• 개선 전략 탐구:
  1. 테스트 타임 스케일링 (Test-Time Scaling): 모델이 생성한 여러 '생각의 궤적 (Thinking Trajectory)' 중 가장 논리적이고 정확한 답을 선별하는 Judge 모델을 활용.
  2. 데이터 믹스 학습 (Data-Mixture Training): 부정적인 샘플 (거부해야 할 데이터) 을 훈련 데이터에 혼합하여 모델의 거부 능력을 학습시킴.

3. 주요 결과 (Key Results)

• 성능 격차 (The Gap):
  • 최상위 모델 (Qwen3-VL-235B-A22B) 의 전체 정확도는 **45.1%**에 불과했습니다.
  • 대부분의 모델은 10~40% 사이의 점수를 기록했으며, 일부는 10% 미만이었습니다.
  • 거부 (Rejection) 태스크: 대부분의 모델이 0% 정확도를 기록했습니다. 이는 모델이 잘못된 설명을 지적하지 못하고 무조건 답을 찾으려 한다는 것을 의미합니다.
• 모델 크기의 영향: 모델 파라미터 크기가 커질수록 성능이 향상되지만, 거부 능력은 여전히 미미했습니다.
• 개선 전략의 효과:
  • 생각 모드 (Thinking Mode) 활성화: 모델이 추론 과정을 거치도록 하면 전반적인 성능이 향상되고, 일부 거부 행동이 가능해졌습니다.
  • 테스트 타임 스케일링: 16 개의 응답 중 최적의 '생각 궤적'을 선별하는 방식으로 전체 정확도를 4.5%p 향상시켰습니다.
  • 데이터 믹스 학습: 부정적 샘플을 포함한 파인튜닝을 통해 거부 정확도를 **0% 에서 27.9%**까지 크게 끌어올렸습니다.

4. 주요 기여 (Key Contributions)

1. GroundingME 벤치마크 제안: 단순한 객체 식별을 넘어, 구별, 공간, 제한, 거부라는 4 가지 차원에서 MLLM 의 진정한 시각적 이해 능력을 평가하는 최초의 포괄적인 벤치마크를 구축했습니다.
2. 현실적인 성능 격차 규명: 기존 벤치마크에서는 90% 이상의 정확도를 보이던 모델들이 GroundingME 에서는 45% 미만의 성능을 보이며, 특히 '거부' 능력에서 치명적인 한계를 드러냈음을 증명했습니다.
3. 개선 방향 제시: 테스트 타임의 추론 품질 선별 (Scaling) 과 훈련 데이터의 부정적 샘플 혼합 (Data Mixture) 이 모델의 신뢰성과 거부 능력을 향상시키는 구체적인 전략을 제시했습니다.

5. 의의 및 중요성 (Significance)

• 신뢰성 있는 AI 시스템 구축: 로봇 제어, 이미지 편집 등 실제 응용 분야에서 모델이 잘못된 정보를 기반으로 행동하는 것을 방지하기 위해 '거부 (Rejection)' 능력은 필수적입니다. GroundingME 는 이러한 안전 장치를 평가할 수 있는 도구를 제공합니다.
• 차세대 벤치마크 표준: 기존 벤치마크의 포화 상태를 깨고, MLLM 의 미세한 추론 능력과 복잡한 상황 대처 능력을 평가할 수 있는 새로운 표준을 제시합니다.
• 연구 방향성: 단순히 모델 크기를 키우는 것뿐만 아니라, 데이터의 질 (부정적 샘플 포함) 과 추론 과정의 최적화 (Test-Time Scaling) 가 시각적 그라운딩 성능 향상에 핵심임을 시사합니다.

이 논문은 MLLM 이 아직 인간 수준의 시각적 이해와 비판적 사고 (거부) 에 도달하지 못했음을 명확히 보여주며, 더 신뢰할 수 있는 멀티모달 AI 를 개발하기 위한 로드맵을 제시합니다.