기술 요약: Omni-Decision

문제 정의

옴니 모달(Omni-modal) 증거 탐색 질의응답(QA)은 비디오, 오디오, 이미지, 웹 페이지, 계산 결과와 같이 이질적인 소스에 흩어져 있는 희소한 증거를 바탕으로 에이전트가 답을 찾아야 하는 작업을 요구합니다. 저자들은 이 환경에서 세 가지 주요 과제를 식별했습니다:

1. 희소하고 분산된 증거: 관련 단서들이 짧은 비디오 세그먼트, 특정 자막 구간, 오디오 이벤트, 이미지 영역 또는 외부 웹 검색 결과에 나타날 수 있어, 모든 필요한 구성 요소를 찾는 것이 어렵습니다.
2. 부분 관측 가능성: 이전 증거가 근거(grounding)되기 전까지는 어떤 엔티티의 속성, 관계 또는 중간값이 필요할지 미리 알 수 없습니다.
3. 제어 문제로서의 답변 준비도: 에이전트는 다음에 무엇을 획득해야 하는지뿐만 아니라, 후보 답변이 충분히 뒷받침되는지, 충돌을 해결하기 위해 수정이 필요한지, 그리고 간극을 메울 수 없는 경우 언제 멈춰야 하는지도 결정해야 합니다.

본 논문은 기존의 에이전트 기반 멀티모달 시스템이 암시적인 대화 기록, 스크래치패드(scratchpad) 또는 자유 형식의 도구 궤적(tool trajectories)에 의존하기 때문에 실패하는 경우가 많다고 주장합니다. 이러한 접근 방식은 근거가 되는 증거를 추적하거나, 누락된 속성을 식고, 증거 체인이 완료되었는지 판단하는 것을 어렵게 만듭니다. 결과적으로, 이 문제는 단순히 컨텍스트 확장(context-scaling)의 문제가 아니라 상태 유지(state-maintenance) 문제로 프레임화됩니다.

방법론: Omni-Decision

저자들은 옴니 모달 QA를 쿼리 범위의 증거 폐쇄(query-scoped evidence-closure) 과정으로 재정의하는 학습 불필요(training-free) 시스템인 Omni-Decision을 제안합니다. 핵심 혁신은 전체 추론 루프의 중앙 제어 객체 역할을 하는 명시적이고 구조화되며 업데이트 가능한 **증거 상태(Evidence State, $S_t$)**를 유지하는 것입니다.

1. 쿼리 범위 증거 상태 (Query-Scoped Evidence State)

일반적인 비디오 메모리나 도구 로그와 달리, 증거 상태는 현재 쿼리에 특화되어 있으며 네 가지 가변적 구성 요소를 포함합니다:

• $E_t$ (확인된 증거): 출처와 시간적 지원을 가진 확인된 증거의 원자(atoms)들.
• $C_t$ (미해결 충돌): 증거 소스 간의 모순에 대한 기록.
• $F_t$ (사실/계산 의존성): 외부 사실, 엔티티-속성 완성, 계산 결과 등을 추적.
• $U_t$ (열린 증거 요구사항): 미해결된 질문과 불확실성 목록.

시스템은 도구 호출 전 쿼리로부터 $S_0$를 초기화합니다. 에이전트가 도구와 상호작용함에 따라 상태는 결정론적으로 업데이트됩니다.

2. 추론 루프 및 제어

시스템은 모든 결정 모듈이 공유된 상태 뷰를 읽고 단 하나의 모듈만이 상태를 쓰는 루프(Algorithm 1)로 작동합니다:

• Planner (플래너): 불변 컨텍스트($R_0$)의 제한된 요약본과 현재 상태($S_t$)를 읽어 다음 행동(도구 사용 또는 종료)을 선택합니다.
• Tools (도구): 행동(예: 비디오 그라운딩, 웹 검색, 코드 실행)을 실행하고 관찰 결과(observations)를 반환합니다.
• Critic (비평가): 새로운 관찰 결과가 현재의 증거 요구사항을 지지하는지, 충돌하는지, 아니면 여전히 미해결 상태로 남겨두는지 검증합니다.
• Reducer (리듀서): 상태에 쓰는 유일한 구성 요소입니다. 관찰 결과와 비평가의 판정을 유형화된 이벤트로 정규화하여 결정론적인 필드 업데이트 규칙을 사용하여 $S_{t+1}$에 반영합니다.
• Finalizer (파이널라이저): 상태가 준비되었음을 나타낼 때만 답변 초안을 작성합니다.

3. 준비도 및 중단 조건

답변 준비도는 독립적인 플래너 결정이 아니라 엄격하게 상태로부터 도출됩니다:
$$\text{ready}(S_t) = (U_t = \emptyset) \land \text{complete}(F_t) \land (C_t = \emptyset)$$
시스템은 모든 열린 요구사항이 채워지고, 모든 의존성이 해결되었으며, 충돌이 존재하지 않을 때만 "충분한" 답변과 함께 종료됩니다. 만약 가용한 행동이 열린 요구사항을 줄이거나 충돌을 해결할 수 없다면, 시스템은 근거 없는 답변을 강요하는 대신 "불충분함(insufficient)" 상태로 멈춥니다.

주요 기여

1. 정식화: 저자들은 옴니 모달 증거 탐색 QA를 쿼리 범위의 증거 폐쇄 문제로 정식화하였으며, 이는 에이전트가 암시적인 이력에 의존하는 대신 근거가 되는 엔티티, 열린 속성, 교차 엔티티 관계 및 외부 의존성을 명시적으로 유지할 것을 요구합니다.
2. 시스템 설계: 저자들은 학습이 필요 없는 증거 상태 시스템인 Omni-Decision을 제안합니다. 핵심적인 구조적 차이점은 계획, 검증, 복구 및 중단이 모두 동일한 상태 뷰를 조건으로 하며, Reducer가 상태에 대한 유일한 쓰기 권한을 가진다는 점입니다. 이를 통해 궤적은 검사 가능하고, 재생 가능하며, 절제(ablate) 가능해집니다.
3. 평가: 시스템은 OmniGAIA(오픈 월드, 도구 증강)와 WorldSense(자기 완결적 오디오-비디오 MCQ)에서 평가되었으며, 명시적인 상태 제어가 다양한 태스크 형식에서 성능을 향상시킨다는 것을 입증했습니다.

실험 결과

OmniGAIA (오픈 월드 증거 수집)

• 성능: Omni-Decision은 OmniGAIA 벤치마크에서 **45.6%**의 정확도를 달了했습니다.
• 개선 사항: 이는 공식 OmniGAIA 베이스 에이전트(18.33%) 대비 27.3 퍼센트 포인트 향상된 수치이며, WorldSense 베이스라인(OmniAgent의 28.1% 대비 58.3%)보다 30.2 퍼센트 포인트 높은 수치입니다.
• 절제 실험(Ablation): 증거 상태를 제거했을 때(No-State ablation) 정확도가 크게 하락하여(예: 기본 설정에서 -9.17 포인트), 이 이득이 플래너나 인지 백엔드의 선택과는 별개임을 확인했습니다.
• 실패 분석: 40개의 Medium/Hard 케이스를 감사한 결과, 많은 "오답" 실행들이 실제로는 증거 체인을 따라 부분적인 진전을 보였으나, 시작 단계에서 실패한 것이 아니라 인지 또는 검색 슬롯이 닫히지 않아 차단되었음을 발견했습니다.

WorldSense (자기 완결적 오디오-비디오)

• 성능: Omni-Decision은 WorldSense에서 **58.3%**의 정확도를 달성했습니다.
• 전이 가능성: 외부 도구(웹 검색, 브라우징)가 없는 이 벤치마크에서도 증거 상태 시스템은 효과적으로 작동하여, 다중 선택형 출력을 위해 내부 미디어 증거를 조직화했습니다. 이는 상태 인터페이스가 특정 데이터셋의 도구와 독립적인 시스템 레벨의 제어 메커니즘임을 뒷받침합니다.

의의 및 주장

본 논문은 **장기적 멀티모달 제어(long-horizon multimodal control)**가 암시적인 대화 이력에 맡겨져서는 안 된다는 점을 Omni-Decision을 통해 보여줍니다. 쿼리 범위의 증거 상태를 중앙 제어 객체로 취급함으로써 시스템은 다음과 같은 기능을 수행할 수 있습니다:

• 표적 증거 획득: 구체적으로 누락된 증거 요구사항을 식별하고 추적합니다.
• 희소한 단서 보존: 긴 자유 형식의 궤적에서 손실될 수 있는 교차 모달 단서들을 유지합니다.
• 검사 가능한 제어 제공: 증거 폐쇄 상태에 기반하여 복구, 충돌 해결 및 중단을 위한 명확한 메커니즘을 제공합니다.

저자들은 Omni-Decision을 고정된 다역할 구현체가 아닌 시스템 레벨의 제어 인터페이스로 위치시킵니다. 이들은 기여가 특정 역할이나 도구의 개수가 아니라, 읽기/쓰기 계약(모듈은 공유 상태를 소비하고, 오직 정규화된 이벤트만이 커밋됨)에 있음을 강조합니다. 결론적으로, 이 시스템은 무엇이 누락되었고 언제 계속할지에 대한 의사결정 능력을 크게 향상시키지만, 하위 모델의 저수준 인지 능력이나 보정된 불확실성을 대체하는 것은 아닙니다.