World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

기술적 요약: 언어로 표현된 세계 모델

문제 제기
비전-언어 모델 (VLM) 이 물리적 장면과 관련된 질문에 답변하기 위해 점점 더 많이 배포되고 있지만, 표준 평가 지표는 최종 답변의 정확도 ($I, q \mapsto a$) 에만 의존합니다. 이러한 접근법은 사물을 오인하거나, 물리적 상태를 잘못 표현하거나, 불가능한 전이를 예측하는 것과 같은 중간 추론 오류들을 단일 이진 점수로 축소시킵니다. 그 결과, 모델이 물리적으로 유효하지 않은 세계 상태 (예: 알짜 힘과 반대 방향으로 가속하는 물체) 를 주장하면서도 올바른 객관식 옵션을 선택할 수 있습니다. 이러한 "숨겨진 불일치"는 VLM 이 계획, 로봇공학, 또는 과학적 추론을 위한 인터페이스로 활용될 때 특히 문제가 됩니다. 이 경우 하위 도구가 이러한 불일치된 약속에 따라 행동할 수 있기 때문입니다.

방법론: 언어로 표현된 세계 모델 (WMW)
저자들은 WORLD MODELS IN WORDS를 소개합니다. 이는 답변만 점수화하는 평가 방식을 VLM 의 언어로 표현된 물리적 약속을 감사 (audit) 하는 방식으로 전환하는 프레임워크입니다.

• 추적 형식 (Trace Formalism): 직접적인 답변 대신 모델은 타입이 지정된 추적 $\tau = (s_0, \Delta s, s_1, a)$를 생성하도록 프롬프트됩니다:
  • $s_0$: 초기 물리적 상태 (개체, 속성, 힘, 관계).
  • $\Delta s$: 예측된 전이 또는 물리 법칙.
  • $s_1$: 결과 상태.
  • $a$: 최종 답변.
  • 추적은 파싱 및 검증을 가능하게 하도록 JSON 구조로 구성됩니다.
• 하이브리드 검증기: 결정론적이고 검사 가능한 검증기가 다음 네 가지 기준에 따라 추적을 검사합니다:
  1. 스키마 유효성: 올바른 JSON 구조 및 타입.
  2. 상태 그라운딩: 시각적 증거 및 메타데이터와의 일관성.
  3. 전이 일관성: 물리 법칙 준수 (예: 힘 - 가속도 정렬, 시간적 순서).
  4. 답변 - 추적 충실도: 유도된 상태와 최종 답변 간의 호환성.
• 실패 분류 체계: 시스템은 오류를 다음과 같은 타입화된 레이블로 분류합니다: 개체, 상태, 관계, 힘, 전이, 개입, 시간적, 단위/규모, 그리고 충실도.
• WMW-TRACEBANK: 논문과 함께 공개된 통제된 리소스로 다음을 포함합니다:
  • 17 가지 물리 계열 (역학, 유체, 회로, 광학 등) 에 걸친 200 개의 합성 시나리오.
  • 3,200 개의 대조적 선호 쌍 (유효한 추적 vs. 최소로 교란된 무효 추적).
  • 검증기 코드, 감사 가이드라인, 그리고 모델 출력.

주요 기여

1. 추적 형식: 답변 문자열이 아닌 감사 가능한 상태 - 전이 약속으로서 VLM 물리 추론을 평가하기 위한 프로토콜.
2. 검증기 계약 및 지표: 상태 추출 오류, 전이 오류, 그리고 숨겨진 불일치 (답변은 정확하지만 추적이 무효인 경우) 를 분리하기 위한 정의.
3. 데이터셋 공개: WMW-TRACEBANK 를 통해 훈련 및 평가를 위한 검증된 합성 추적과 선호 쌍 제공.
4. 실패 분류 체계 및 감사: 400 개의 계층화된 추적에 대한 검증기의 인간 감사 평가로, 정밀도, 재현율, 그리고 상호 주석자 간 일치를 보고.
5. 개입 프로토콜: 검증기 기반 재순위화 및 추적 수준 선호도 튜닝이 답변 정확도를 희생하지 않으면서 물리적 일관성을 향상시킬 수 있음을 입증.

실험 결과
저자들은 통제된 예시와 외부 예시 모두에 대해 7 개의 VLM(클로드 오퍼스 4.7, GPT-5.5, GPT-4o 포함 및 Qwen2.5-VL, InternVL3 와 같은 오픈소스 모델) 을 평가했습니다.

• 숨겨진 불일치 (RQ1): 최종 답변 정확도는 상당한 물리 오류를 가립니다. 모든 모델에 걸쳐 **18% 에서 42%**의 정확한 답변이 물리적으로 무효인 추적에 기반하고 있었습니다. 중위권 모델의 경우, "정답"인 답변의 30% 이상이 무효한 물리 추론에 의존했습니다.
• 병목 분석 (RQ2): 전이 단계($\Delta s$)가 대부분의 모델에 대한 주요 병목 현상입니다. 금표 초기 상태가 제공되더라도 GPT-4o 와 같은 모델은 물리적 변화를 예측할 때 정확도가 19 퍼센트 포인트 하락했습니다. 더 강력한 폐쇄형 모델 (예: 클로드 오퍼스 4.7) 은 금표 상태가 내부 일관성 검사를 방해하는 보정 효과를 보였습니다.
• 검증기 신뢰성 (RQ3): 하이브리드 검증기는 상태 (F1=0.82), 전이 (F1=0.78), 그리고 충실도 (F1=0.91) 레이블에 대해 인간 감사와 높은 일치를 달성했습니다.
• 개입 효과성 (RQ4):
  • 재순위화: $k=8$개의 샘플 중 최상의 추적을 선택하면 추적 유효성이 4~7 퍼센트 포인트 향상되었습니다.
  • 선호도 튜닝: 선호 쌍을 기반으로 Direct Preference Optimization(DPO) 으로 Qwen2.5-VL-7B 를 훈련시키면 숨겨진 불일치가 상대적으로 41% 감소했습니다 (42% 에서 25% 로). 동시에 답변 정확도가 약간 향상되었습니다 (+2pp).

의의 및 주장
이 논문은 WORLD MODELS IN WORDS 가 단순히 또 다른 물리 벤치마크가 아니라, VLM 이 진술한 물리적 세계가 일관성이 있는지 감사하기 위한 재사용 가능한 프로토콜이라고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 무효인 추적을 가진 정확한 답변은 해롭지 않은 포맷 오류가 아닙니다. 이는 교육, 계획, 또는 과학 시스템을 오도할 수 있는 불일치된 약속을 나타냅니다.
• 이 프레임워크는 전이 예측이 시각적 지각과 구별되는 지배적인 실패 모드임을 드러냅니다.
• 검증기 기반 개입 (재순위화 및 선호도 튜닝) 은 숨겨진 불일치를 효과적으로 감소시킬 수 있으며, 이는 더 신뢰할 수 있는 물리 추론 모듈로 가는 길을 시사합니다.

저자들은 겸손한 입장을 유지하며, 추적의 관찰 가능성 (잠재적 인식이 아닌 사용자 facing 약속), 검증기의 범위 (실제 세계의 모호성에 대한 명시적 가정에 의존), 그리고 모델이 교란 템플릿에 과적합할 가능성과 같은 한계를 인정합니다. 그들은 명시적으로 이 데이터셋이 고위험 응용 분야를 위한 안전 인증서가 아니라고 명시합니다.