기술 요약: 자원 제한적 시각 에이전트의 공유 상태 협업 실패 모드 진단

문제 정의

모듈형 시각 추론 시스템은 복잡한 질의를 검증 가능한 단계로 분해하여 제한된 용량의 모델이 수행할 수 있도록 하기 위해, 중간 상태를 외재화하는 공유 작업 메모리(예: "화이트보드" 또는 스크래치패드)에 점점 더 의존하고 있습니다. 그러나 이 패러다임의 효용성은 자원 제한적 환경, 구체적으로는 엄격한 컴퓨팅 예산 내에서 작동하는 약한 학습기(4B–8B 파라미터 모델)를 사용할 때 여전히 입증되지 않은 상태입니다.

본 연구의 핵심 가설은 이러한 저용량 설정에서 협업 루프가 신뢰할 수 있는 메모리 저장소가 아니라, 노이즈가 섞인 통신 채널로 작용한다는 것입니다. 모든 추가적인 상호작용 턴은 선형적인 계산 비용을 발생시키는 동시에, 근거가 없는 중간 노트가 잘못된 증거로 "경화(hardened)"되거나, 모델이 불충분하게 명시된 출력으로 치우치는 **정책 드리프트(policy drift)**의 위험을 도입합니다. 본 논문은 엄격한 무결성 감사(integrity auditing) 없이는, 이러한 환경에서 중간 상태 진화의 실패 역학이 충분히 탐구되지 않았다고 주장합니다.

방법론: CoSee 프레임워크

이러한 한계를 조사하기 위해, 저자들은 소형 모델 제약 조건 하에서 공유 컨텍스트의 유용성을 측정하기 위해 설계된 감사 프레임워크이자 협업 프로토콜인 CoSee를 도입합니다.

1. 추론 루프의 정식화

문제는 시각적 입력 $I$와 질의 $q$에 조건화되어, 일련의 이산적 잠재 상태(보드, $B_{1:T}$)에 의해 매개되는 답변 $a$를 생성하는 시퀀스 결정 과정으로 정식화됩니다. 프레임워크는 추론 궤적을 확률적 트레이스 $\tau = (I, q, B_{1:T}, \hat{a})$로 취급합니다.

2. 실험 프로토콜

본 연구는 엄격하게 일치된 프롬프트와 디코딩 제한(최대 32개의 새로운 토큰, $T=3$ 단계) 하에서 세 가지 서로 다른 추론 프로토콜을 비교합니다:

• 직접 추론 (Baseline): 중간 상태 추적 없이 단일 턴 생성을 수행합니다.
• 오픈 루프 반복 정제 (Open-Loop Iterative Refinement):
  • 단일 에이전트: 하나의 에이전트가 보드를 반복적으로 업데이트합니다.
  • 이중 에이전트 (Scanner–Checker): 동일한 백본에서 파생된 두 역할이 교대 턴으로 작동합니다 (하나의 에이전트는 증거를 제안하고, 다른 하나는 이를 정제하거나 반박함).
• 게이트 전환 (Verified-Board): 제안된 보드 항목을 필터링하는 검증 함수 $V_\phi$(동일한 백본에 의해 매개됨)를 갖춘 조건부 게이팅 메커니즘입니다. "지지됨(Supported)"으로 표시된 항목만 보드에 추가되며, 그 외의 항목은 폐기됩니다. 이는 노이즈 전파를 방지하기 위한 정보 병목 장치 역할을 합니다.

3. 평가 설정

• 백본: 실험에는 Qwen3-VL-4B/8B-Instruct, Phi-4-multimodal-instruct, Gemma-3-4B-it와 같은 4B–8B 클래스의 모델을 활용합니다.
• 벤치마크: 서로 다른 실패 모드를 나타내는 세 가지 분포를 사용합니다:
  • SlideVQA: 다중 페이지 검색 (고재현/High-recall 환경).
  • ChartQAPro: 적대적 섭동이 포함된 정량적 추론 (고정밀/High-precision 환경).
  • VQAonline: 웹 데이터로부터의 개방형 합성 (정책 민감/Policy-sensitive 환경).
• 지표: 표준 Exact Match (EM) 및 Loose Match 외에도, 저자들은 포맷 강건성 점수(Format-Robust Scoring)(환각과 포맷 오류를 분리하기 위함)와 정책 인식 F1(Policy-Aware F1)(커버리지 붕괴를 감지하기 위함)을 채택합니다. 결정적으로, 프로토콜 불안정성을 처벌하기 위해 형식이 잘못되었거나 누출된 출력도 실패로 간주하는 "비배제(no-exclusion)" 점수 정책을 적용합니다.
• 비용 분석: 성능은 생성된 총 토큰 수를 기준으로 계산 비용과 함께 평가되며, **비용-정확도 파레토 프런티어(Cost–Accuracy Pareto frontiers)**를 통해 유용성(정확도) 대 총 생성 토큰을 도식화합니다.

주요 결과

실증적 조사는 명확한 **효율성 역설(Efficiency Paradox)**을 드러냅니다. 즉, 약한 학습자의 경우 공유 메모리를 나이브하게 사용하는 것은 성능을 개선하기보다 오히려 저하시키는 경우가 많습니다.

1. 계산에 대한 부정적 수익

세 가지 백본과 데이터셋 모두에서, 멀티 에이전트 및 단일 보드 오픈 루프 프로토콜은 빈번하게 직접 단일 턴 베이스라인보다 낮은 성능을 보였습니다.

• ChartQAPro & VQAonline: 나이브한 협업은 통계적으로 유의미한 성능 저하를 보입니다. 추가적인 계산(토큰)은 정확도와 음의 상관관계를 가지며, 이러한 방식들을 파레토 프런티어의 "부정적 유용성" 영역에 위치시킵니다.
• SlideVQA: 검색 작업에서는 미미하거나 중립적인 이득을 보이지만, 추론 중심의 작업에서 나타나는 심각한 저하를 보이지는 않습니다. 이는 실패 모드가 단순한 증거 검색보다는 추론 체인에 특화되어 있음을 시사합니다.

2. 식별된 실패 모드

트레이스 수준의 진단은 이러한 저하를 유발하는 두 가지 지배적인 메커니즘을 격리합니다:

• 노이즈 강화 (Noise Reinforcement, ChartQAPro): 정량적 추론에서, 근거가 없는 중간 노트(예: 차트 범례를 잘못 읽음)가 보드에 기록되고, 이후 최종 답변자가 이를 실제 증거(ground-truth evidence)로 취급합니다. 이는 초기 인지 오류가 최종 답변으로 "경화"되는 양의 피드백 루프를 생성합니다.
• 정책 붕괴 (Policy Collapse, VQAonline): 개방형 합성에서, 중간 컨텍스트의 존재는 분포 변화를 유도합니다. 모델은 지나치게 간결한 응답으로 붕괴하며(17–32 토큰 빈에서 0–16 토큰 빈으로 이동), 이는 필수 답변 구성 요소의 심각한 커버리지 부족으로 이어집니다. 이는 토큰 절단 때문이 아니라 보드 요약에 대한 학습된 의존성 결과입니다.

3. 검증의 역할

Verified-Board 대조군은 병목 현상이 추론 능력이 아니라 **통신 충실도(communication fidelity)**에 있음을 보여줍니다. 간단한 검증 게이트(Support/Refute 체크)를 도입하면 ChartQAPro에서의 성능 저하 대부분을 회복할 수 있으며, 이는 오류 전파를 효과적으로 차단합니다. 이는 경량 검증이 이 환경에서 신뢰할 수 있는 스케일링을 위한 최소한의 필요 조건임을 확인시켜 줍니다.

의의 및 기여

본 논문은 모듈형 시각 에이전트에 대한 이해에 세 가지 기여를 합니다:

1. 공식 감사 프레임워크 (CoSee): 모듈형 VQA 시스템에서 정보 흐름과 무결성을 추적하기 위한 엄격한 프로토콜을 제공하여, 약한 학습자 간 협업의 한계를 체계적으로 조사할 수 있게 합니다.
2. 실패 메커니즘의 분류 체계: 노이즈 강화 및 정책 붕괴와 같은 지배적인 실패 모드를 분류함으로써, 나이브한 공유 작업 공간이 어떻게 환각을 해결하기보다 오히려 증폭시킬 수 있는지 입증합니다.
3. 자원 제한적 에이전트를 위한 설계 원칙: "종이에 생각하기"가 본질적으로 추론을 개선한다는 직관에 도전합니다. 대신, 본 논문은 4B–8B 모델에게 있어 병목은 추론의 깊이가 아니라 통신 충실도에 있다고 주장합니다. 따라서 신뢰할 수 있는 모듈형 설계를 위해서는 단순히 오픈 루프 역할을 확산시키는 것이 아니라, 폐쇄 루프 제어(게이트 전환)와 근거 있는 정보 병목(grounded information bottlenecks)을 통해 오류 전파의 열역학을 방지해야 한다고 제언합니다.

결론적으로, 본 연구는 자원 제한적인 에이전트에게 있어 명시적인 검증 메커니즘 없는 테스트 타임 계산량의 증가는 한계 효용 체감 또는 부정적인 수익을 초래함을 시사합니다. 신뢰할 수 있는 모듈형 에이전트로 가는 길은 노이즈를 원천에서 필터링하는 메커니즘을 설계하여, 공유 상태가 노이즈 섞인 채널이 아닌 유효한 추론 지원 도구로 기능하게 하는 데 있습니다.