기술 요약: 의도적으로 설계된 난해함(Ill-Posed by Design): VLM의 증거 사용 탐색

문제 정의

반사실적 분석(Counterfactual analysis)은 시각-언어 모델(VLM)의 증거 사용을 연구하는 표준적인 도구이지만, **잘 정의된 과업(well-posed tasks)**에서는 진단적 가치가 제한적입니다. 객체 인식과 같은 과업에서는 여러 시각적 단서가 독립적으로 동일한 정답을 지지하는 경우가 많습니다. 이 경우 하나의 단서를 마스킹하더라도 예측이 변하지 않을 수 있으며, 이는 특정 단서가 '사용되지 않은 것'인지 아니면 단순히 '중복된 것'인지를 구분하는 것을 불가능하게 만듭니다.

본 논문은 **단안 메트릭 객체 크기 추정(monocular metric object-size estimation)**을 **난해한 진단 설정(ill-posed diagnostic setting)**으로 제안합니다. 물리적 규모는 스테레오 단서나 알려진 참조물 없이 단일 미교정 이미지로부터 결정될 수 없기 때문에, 이 과업은 근본적으로 미결정(underdetermined) 상태입니다. 모델은 카테고리 사전 확률(priors), 대상의 외형, 국소적 맥락, 겉보기 크기, 장면 기하학(scene geometry)과 같은 불완전하고 잠재적으로 충돌하는 단서들에 의존해야 합니다. 표준 정확도 지표는 이러한 전략들을 단일 점수로 통합하여, 모델이 어떤 구체적인 증거 채널을 사용하는지 또는 사용하지 못하는지를 은폐합니다.

방법론

벤치마크: Metric VQA

저자들은 10,813개의 차원 쿼리와 정답 측정을 포함하며, 두 가지 상호 보완적인 데이터셋으로 나뉜 Metric VQA 벤치마크를 도입했습니다.

1. Objectron 유래 분할 (10,482개 쿼리): 9가지 일상적인 객체 카테고리를 다루며, 3D 바운딩 박스 정답이 포함된 Objectron 데이터셋에서 추출한 프레임.
2. In-the-Wild (ITW) 분할 (331개 쿼리): 임의의 폐쇄(occlusion)와 조명 조건이 있는, 테이프로 측정된 정답을 포함한 복잡한 실제 환경 장면.

반사실적 개입 (Counterfactual Interventions)

핵-방법론은 자연어 쿼리는 고정한 채 6가지 이미지 수준 개입을 적용하는 것입니다. 이 개입들은 6가지 별개의 증거 채널을 조사합니다.

1. 텍스트 전용 (Text-only): 이미지 모달리티를 완전히 제거하거나 회색 이미지로 교체하여 언어적 사전 확률에 대한 의존도를 측정합니다.
2. 대상 픽셀 (Target Pixels): 대상 객체를 제외한 전체 장면을 마스킹합니다 (object_only).
3. 대상 정체성 (Target Identity): 위치와 장면 통계는 유지하면서 대상 객체를 동일한 장면 내의 다른 객체로 교체합니다 (wrong_object).
4. 국소적 맥락 (Local Context): 대상 객체와 그 주변의 얇은 링 형태의 맥락만을 유지합니다 (object_ring).
5. 겉보기 크기 (Apparent Size): 대상 객체의 크기를 조절(1.4배 확대 및 0.6배 축소)하여 픽셀 점유율에 대한 민감도를 테스트합니다.
6. 전역 장면 기하학 (Global Scene Geometry): 소실점 구조를 교란하기 위해 방사형 렌즈 왜곡(배럴 및 핀쿠션 왜곡)을 적용하되 객체의 정체성은 보존합니다.

평가 설정

연구는 3B에서 397B 파라미터에 이르는 12개의 오픈 웨이트 VLM(Qwen, InternVL, LLaVA, Molmo 제품군 포함)을 평가합니다. 성능은 다음을 기준으로 측정됩니다.

• 이미지 없이 질의된 텍스트 전용 프런티어 LLM (ChatGPT 5.5).
• ITW 분할에 대한 인간 베이스라인.
• 주요 지표는 Acc@10% (정답과 10% 이내의 오차를 가진 예측 비율)입니다.

저자들은 또한 실행 가능한 개입으로서 **LoRA 미세 조정(fine-tuning)**을 분석하며, Objectron 분할 데이터로 어댑터를 학습시켜 지도 학습이 증거 선택 패턴을 어떻게 변화시키는지 관찰합니다.

주요 결과

1. 야생(In the Wild)에서의 언어적 사전 확률 지배

테스트된 가장 큰 오픈 VLM(Qwen3.5-397B, InternVL3.5-241B)조차 Metric VQA의 인 더 와일드 분할에서 텍스트 전용 프런티어 LLM보다 낮은 성능을 보였습니다. 이는 메트릭 추정에 있어, 구조화되지 않은 환경에서는 강력한 카테고리 수준의 언어적 사전 확률이 시각적 증거보다 성능 변동을 더 많이 설명한다는 것을 나타냅니다.

2. 계층적 증거 사용

반사실적 시그니처는 다음과 같은 계층적 증거 의존 패턴을 드러냅니다.

• 대상 정체성은 핵심적 요소(Load-Bearing)임: 대상 객체를 교체했을 때 모든 모델에서 가장 일관되고 유의미한 정확도 하락이 발생했으며, 이는 모델이 '무엇'이 보이는지에 따라 추정에 크게 의존함을 의미합니다.
• 대상 픽셀과 국소적 맥락은 선택적임: 대규모 모델 중 일부만이 메트릭 추정을 위해 원시 대상 픽셀을 활용합니다. 국소적 맥락은 모델에 따라 작은 이점을 제공하지만, 일부 모델에게 장면의 혼잡도는 단서가 아닌 방해 요소로 작용합니다.
• 겉보기 크기는 방향성이 없음: 객체 크기가 변할 때 예측값이 바뀌긴 하지만, 그 변화는 방향적으로 일관되지 않습니다 (예: 확대를 해도 예측 크기가 체계적으로 증가하지 않음). 겉보기 크기는 많은 모델에게 신뢰할 수 있는 메트릭 단서라기보다 불안정한 신호로 작용합니다.
• 장면 기하학은 거의 사용되지 않음: 전역 장면 기하학(원근법/소실점)은 가장 취약한 채널입니다. 렌즈 왜곡 하에서 신뢰할 만한 정확도 하락을 보인 모델은 단 하나뿐이었으며, 방향성 있는 행동을 보인 모델은 없었습니다.

3. LoRA 미세 조정의 한계

지도 학습 기반의 LoRA 미세 조정은 메트릭 추정 과업의 전반적인 정확도를 향상시킵/니다. 그러나 분석 결과, 모델은 장면 기하학을 활용하는 법을 배우거나 새로운 시각적-기하학적 이해를 발달시키지 못합니다. 대신, 미세 조정은 베이스 모델이 이미 부분적으로 사용하고 있던 채널(예: 언어적 사전 확률의 안정화, 대상 정체성 민감도 심화, 또는 국소적 맥락 활용)을 강화할 뿐입니다. 과업 자체는 학습 가능하지만, 그 메커니즘은 새로운 기하학적 능력을 습득하는 것이 아니라 기존의 약한 채널을 패치하는 것에 가깝습니다.

의의 및 주장

본 논문은 **난해한 과업(ill-posed tasks)**이 잘 정의된 벤치마크보다 멀티모달 시스템을 위한 더 우수한 진단 도구 역할을 한다고 주장합니다. 모델이 불완전하고 비중복적인 증거원들 사이에서 선택하도록 강제함으로써, 반사실적 개입은 정확도 지표가 숨겨버리는 구체적인 단서 사용 패턴을 격리해 낼 수 있습니다.

핵심 요약:

• 순위 매기기보다 진단 우선: 본 연구는 모델의 정확도로 순위를 매기는 것보다 모델이 어떻게 추론하는지(증거 선택)를 이해하는 것을 우선시합니다.
• 시각적 측정의 환상: VLM의 센티미터 단위 추정치를 신뢰할 수 있는 측정값으로 간주해서는 안 됩니다. 이는 카테고리 수준의 사전 확률에 선택적이고 모델 의կ존적인 시각적 변조가 결합된 것으로 이해하는 것이 적절합니다.
• 현재 학습 방식의 한계: 표준적인 다음 토큰 예측 손실(next-token-loss) 기반의 미세 조정(LoRA)은 진정한 장면 기하학 이해를 유도하지 못하며, 이는 현재의 학습 패러다임이 언어적 사전 확률과 물리적 추론 사이의 간극을 메우기에 충분하지 않을 수 있음을 시사합니다.

저자들은 향-미래의 멀티모달 시스템에 대한 재현 가능한 진단 분석을 지원하기 위해 Metric VQA(데이터, 개입 변형, 예측값 및 코드)를 공개합니다.