기술 요약: ReactBench

문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 시각 - 언어 이해 분야에서 상당한 진전을 보였으나, 여전히 멀티모달 환각에 취약합니다. 이는 모델이 시각 입력과 일치하지 않는 의미적으로 일관된 응답을 생성하는 현상입니다. 기존 벤치마크 (예: POPE, AMBER) 는 이러한 문제를 진단하는 데 기초적인 역할을 해왔으나, MLLM 이 발전함에 따라 세 가지 치명적인 한계를 드러냅니다:

1. 단순한 시나리오: 많은 벤치마크가 기본 장면과 제한된 쿼리 형식에 의존하여 최첨단 모델에 의해 포화 상태에 이르렀으며, 이는 실제 능력의 한계를 탐지하지 못하는 과장된 성능 지표를 초래합니다.
2. 고립된 원인 분석: 최근 노력들은 종종 언어 사전 지식이나 공발생 편향과 같은 특정 원인을 고립적으로 조사하며, 통합된 원인 주도 프레임워크가 부족합니다. 또한 일부 벤치마크는 적대적 샘플 생성을 위해 텍스트 - 이미지 생성에 의존하여 실제 세계의 대표성을 훼손할 수 있습니다.
3. 미세한 진단 부재: 기존 평가들은 일반적으로 환각 행동의 집계 성능이나 대략적인 요약에 초점을 맞추며, 추론 과정 내의 특정 하위 원인으로 환각된 출력을 추적하기 위해 사고의 사슬 (Chain-of-Thought, CoT) 추론 흔적을 활용하는 경우는 드뭅니다.

방법론

이러한 격차를 해소하기 위해 저자들은 결과 지향적 탐지에서 원인 지향적 진단으로 평가 패러다임을 전환하도록 설계된 체계적이고 원인 주도적인 벤치마크인 ReactBench를 소개합니다. 방법론은 각기 다른 실패 메커니즘에 대응하는 네 가지 표적 작업과 데이터셋 구축을 위한 반자동 파이프라인을 포함합니다.

1. 작업 정의

ReactBench 는 환각의 네 가지 대표적 원인에 대응하는 네 가지 작업을 통해 MLLM 을 평가합니다:

• 관계 소거 (공발생 편향): 통계적 공발생에 의해 유발된 환각을 대상으로 합니다. 고빈도 객체 삼중항 (예: 스케이트보드 - 바퀴) 을 선택하고 한 개체를 시각적으로 지웁니다. 모델은 직접 질문, 상식 유도, 전제 기반 유도, 그리고 부조화 대비 유도를 포함한 네 가지 차원을 통해 지워진 객체의 존재 여부를 묻는 질문에 답변합니다.
• 반사실적 속성 (언어 사전 지식): 시각적 증거보다 사전 지식에 의존하는 것을 대상으로 합니다. 고빈도 객체 - 속성 튜플 (예: 다람쥐 - 부드러운 회색 털) 을 반사실적 상태 (예: 가시 같은 가시털) 로 편집합니다. 모델은 동일한 네 가지 쿼리 차원에 대해 편집된 속성을 식별하는 능력을 평가받습니다.
• 변경 추적 (교차 이미지 비교 지각): 이미지 쌍 비교의 결함을 대상으로 합니다. 이미지의 객체가 이동, 제거, 추가, 교체와 같은 미세한 변경을 겪습니다. 모델은 위치 힌트, 작업 힌트, 힌트 없음의 세 가지 설정에서 변경 사항을 식별해야 합니다.
• 밀집 계수 (미세 지각 병목 현상): 밀집된 장면에서 동일한 클래스의 여러 객체를 세는 데 어려움을 대상으로 합니다. 모델은 정확한 수량이나 구간 기반 범위에 대해 질문받습니다.

2. 데이터셋 구축 파이프라인

벤치마크 구축은 높은 충실도를 보장하는 반자동 파이프라인을 포함합니다:

• 소스 데이터: 이미지는 첫 세 가지 작업의 경우 Visual Genome에서, 밀집 계수 작업의 경우 FSC147에서 출처를 얻습니다.
• 통계적 필터링: 후보 이미지는 공발생 확률과 객체 빈도에 기반하여 선택되어 강력한 편향 또는 사전 조건을 보장합니다.
• MLLM 기반 편집: 인스턴스 수준의 정보를 MLLM 에 입력하여 정밀한 편집 지시를 생성하고, 이를 이미지 편집 모델 (Qwen-Image-Edit-2511) 이 실행하여 적대적 샘플을 생성합니다.
• 시험형 QA 생성: MLLM 이 편집된 이미지와 메타데이터를 기반으로 대규모 질문 - 답변 쌍 (MC, YN, SA) 을 생성하며, 특정 유도 차원 (예: 부조화 대비) 을 포함합니다.
• 인간 검증: 2 단계 인간 검토 프로세스를 통해 이미지 편집 품질과 QA 정확성을 검증하여 시각적 충실도와 답변 정확성을 보장합니다.

3. 평가 프레임워크

• 지표: 표준 정확도 외에도 저자들은 질문 난이도 (단답형 50%, 객관식/예 - 아니오 25%) 와 작업 난이도 (관계 소거와 밀집 계수 각각 30%) 를 고려한 계층적 가중 지표인 React-Score를 제안합니다.
• 미세 하위 원인 분석: 저자들은 CoT 추론 흔적을 활용하여 진단 분석을 수행합니다. 각 작업에 대한 하위 원인의 분류 체계 (예: 관계 소거의 경우 활동 - 개체 완성, 반사실적 속성의 경우 맹목적인 사전 주장) 를 정의하고, LLM 을 사용하여 환각된 응답을 이러한 특정 하위 원인으로 귀속시킵니다.

주요 결과

13 개의 고급 오픈소스 MLLM (Qwen3.5, InternVL3, LLaVA 시리즈, MiMO-VL 포함) 에 대해 광범위한 평가가 수행되었습니다.

• 전체 성능: 현재 MLLM 은 여전히 현저히 취약하며, 평균 정확도는 대략 40% 에서 60% 사이입니다. 최상위 모델인 Qwen3VL-32B-Thinking은 React-Score 65.3 을 기록한 반면, 초기 아키텍처인 LLaVA-v1.6-7B는 34.5 점에 그쳤습니다.
• 사고의 사슬 (CoT) 의 효과: CoT 추론의 도입은 상반된 효과를 낳았습니다. 반사실적 속성 작업에서 언어 사전 지식에 기반한 오류를 완화하는 데 도움이 되었으나 (예: Qwen3VL-32B-Instruct 의 경우 +8.0% 개선), 변경 추적 및 밀집 계수와 같은 지각 집약적 작업에서는 종종 성능을 저하시켰습니다. 이는 긴 추론 체인이 시각적 불확실성을 증폭시키고 중간 해석 오류를 누적시킬 수 있음을 시사합니다.
• 작업별 통찰:
  • 지각 vs 사전 지식: 모델은 사전 학습 데이터 분포에 기반한 작업 (관계 소거, 반사실적 속성) 에 비해 지향적 작업 (변경 추적, 밀집 계수) 에서 더 명확한 개선을 보였으며, 전자의 경우 성능은 60% 약간 위에서 정체되었습니다.
  • 질문 형식: 개방형 단답형 (SA) 질문은 객관식 (50.4%–64.9%) 또는 예/아니오 형식보다 훨씬 어려웠으며 (19.1%–28.4% 정확도), 자유 형식 생성에 대한 시각적 근거 부족을 나타냅니다.
  • 유도 차원: "부조화 대비" 쿼리는 환각을 유발하는 데 매우 효과적이었으며, 가장 심각한 성능 감소를 초래했습니다.
• 하위 원인 분포: 분석은 지배적인 실패 패턴을 드러냈습니다:
  • 관계 소거: 오류의 68% 가 활동 - 개체 완성과 장면 - 객체 연관에서 비롯되었습니다.
  • 반사실적 속성: 오류의 83.1% 가 맹목적인 사전 주장과 일반 속성 투사로 인한 것이었습니다.
  • 변경 추적: 오류의 89.7% 가 교차 이미지 상태 동화와 미세 지각 맹점에서 비롯되었습니다.
  • 밀집 계수: 정규 단축 오류 (49.1%) 와 순차적 나열 결핍 (30.9%) 이 주요 병목 현상이었습니다.

중요성과 주장

이 논문은 ReactBench 가 멀티모달 환각을 진단하기 위한 체계적이고 해석 가능한 테스트베드를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 패러다임 전환: 단순한 결과 탐지에서 공발생 편향, 언어 사전 지식, 비교 지각 결핍, 미세 병목 현상과 같은 특정 실패 메커니즘을 체계적으로 드러내는 원인 주도 프레임워크로의 전환.
2. 진단 세분화: 환각을 특정 추론 붕괴로 추적하는 미세한 하위 원인 분류 체계를 제공하여, 일반적인 "규모 확장" 접근법을 넘어 모델 개선을 위한 실행 가능한 통찰을 제공.
3. 실제 세계 충실도: 합성 텍스트 - 이미지 생성 대신 표적 편집이 가해진 실제 이미지를 사용하여 벤치마크가 더 높은 시각적 충실도와 실제 세계 대표성을 유지.
4. 미래 MLLM 에 대한 지침: 결과는 미래 모델이 규모 확장에만 의존하는 대신, 시각적으로 지지되지 않는 그럴듯한 사전 지식을 억제하고 국소적 비교 및 객체 수준 추적과 같은 시각적 검증 메커니즘을 강화하는 것과 같은 표적 완화 전략이 필요함을 시사.

저자들은 ReactBench 가 단순한 평가 벤치마크를 넘어 미래 MLLM 의 견고성을 개선하기 위한 실행 가능한 지침을 제공한다고 결론지었습니다.