Resumo Técnico: Omni-Decision

Definição do Problema

A busca de evidências omni-modal para Questionamento e Resposta (QA) exige que agentes respondam a perguntas onde a evidência necessária está esparsamente distribuída em fontes heterogêneas, incluindo vídeos, áudio, imagens, páginas da web e resultados computacionais. Os autores identificam três desafios primários neste cenário:

1. Evidência Esparsa e Distribuída: Pistas relevantes podem aparecer em segmentos curtos de vídeo, trechos específicos de legendas, eventos de áudio, regiões de imagem ou resultados externos da web, tornando difícil localizar todos os componentes necessários.
2. Observabilidade Parcial: O sistema não pode saber antecipadamente quais atributos de entidades, relações ou valores intermediários são necessários até que a evidência anterior seja fundamentada.
3. Prontidão da Resposta como um Problema de Controle: O agente deve decidir não apenas o que adquirir a seguir, mas também se uma resposta candidata é suficientemente suportada, se conflitos exigem reparação e quando parar caso as lacunas sejam impossíveis de preencher.

O artigo argumenta que os sistemas multimodais agênticos existentes frequentemente falham porque dependem de históricos de diálogo implícitos, scratchpads ou trajetórias de ferramentas de formato livre. Essas abordagens dificultam o rastreamento de evidências fundamentadas, a identificação de atributos ausentes ou a determinação de quando uma cadeia de evidências está completa. Consequentemente, o problema é formulado não meramente como uma questão de escala de contexto, mas como um problema de manutenção de estado.

Metodologia: Omni-Decision

Os autores propõem o Omni-Decision, um sistema livre de treinamento que reformula o QA omni-modal como um processo de fechamento de evidência com escopo de consulta (query-scoped evidence-closure process). A inovação central é a manutenção de um Estado de Evidência ($S_t$) explícito, estruturado e atualizável, que serve como o objeto de controle central para todo o loop de inferência.

1. Estado de Evidência com Escopo de Consulta

Diferente de memória de vídeo geral ou logs de ferramentas, o Estado de Evidência é específico para a consulta atual e contém quatro componentes mutáveis:

• $E_t$ (Evidência Confirmada): Átomos de evidência confirmada com fontes e suporte temporal.
• $C_t$ (Conflitos Não Resolvidos): Registros de contradições entre fontes de evidência.
• $F_t$ (Dependências de Fatos/Computação): Rastreia fatos externos, complementações de atributos de entidades e resultados de computação.
• $U_t$ (Necessidades de Evidência em Aberto): Listas de questões não resolvidas e incertezas.

O sistema inicializa $S_0$ a partir da consulta antes de qualquer chamada de ferramenta. À medida que o agente interage com as ferramentas, o estado é atualizado deterministicamente.

2. Loop de Inferência e Controle

O sistema opera em um loop (Algoritmo 1) onde todos os módulos de tomada de decisão leem de uma visão de estado compartilhada, enquanto apenas um módulo escreve nele:

• Planejador (Planner): Lê um resumo limitado do contexto imutável ($R_0$) e do estado atual ($S_t$) para selecionar a próxima ação (uso de ferramenta ou finalização).
• Ferramentas (Tools): Executam ações (ex: fundamentação de vídeo, busca na web, execução de código) e retornam observações.
• Crítico (Critic): Valida se novas observações suportam, conflitam com ou deixam em aberto as necessidades de evidência atuais.
• Redutor (Reducer): O único componente que escreve no estado. Ele normaliza as observações e os vereditos do crítico em eventos tipados e os compromete em $S_{t+1}$ usando regras determinísticas de atualização de campos.
• Finalizador (Finalizer): Elabora uma resposta apenas quando o estado indica prontidão.

3. Prontidão e Condições de Parada

A prontidão da resposta é derivada estritamente do estado, não como uma decisão independente do planejador:
$$\text{ready}(S_t) = (U_t = \emptyset) \land \text{complete}(F_t) \land (C_t = \emptyset)$$
O sistema termina com uma resposta "suficiente" apenas se todas as necessidades em aberto forem preenchidas, todas as dependências forem resolvidas e não existirem conflitos. Se nenhuma ação disponível puder plausivelmente reduzir uma necessidade em aberto ou resolver um conflito, o sistema para com um status de "insuficiente" em vez de forçar uma resposta sem suporte.

Principais Contribuições

1. Formulação: Os autores formulam a busca de evidências omni-modal para QA como um problema de fechamento de evidência com escopo de consulta, exigindo que o agente mantenha explicitamente entidades fundamentadas, atributos em aberto, relações entre entidades e dependências externas, em vez de depender de histórico implícito.
2. Design do Sistema: Eles propõem o Omni-Decision, um sistema de estado de evidência livre de treinamento. Uma distinção arquitetônica fundamental é que o planejamento, a verificação, a reparação e a parada são todos condicionados à mesma visão de estado, enquanto o Redutor é o único escritor para o estado. Isso torna as trajetórias inspecionáveis, reproduzíveis e ablacionáveis.
3. Avaliação: O sistema é avaliado no OmniGAIA (mundo aberto, aumentado por ferramentas) e no WorldSense (MCQ de áudio-vídeo autocontido), demonstrando que o controle de estado explícito melhora o desempenho em diferentes formatos de tarefas.

Resultados Experimentais

OmniGAIA (Coleta de Evidências em Mundo Aberto)

• Desempenho: O Omni-Decision alcançou 45,6% de acurácia no benchmark OmniGAIA.
• Melhoria: Isso representa um aumento de 27,3 pontos percentuais sobre o agente base oficial do OmniGAIA (18,33%) e um aumento de 30,2 pontos percentuais sobre o baseline do WorldSense (58,3% vs. 28,1% para o OmniAgent).
• Ablação: A remoção do estado de evidência (ablação No-State) causou uma queda significativa na acurácia (ex: -9,17 pontos na configuração padrão), confirmando que o ganho é separável da escolha do planejador ou do backend de percepção.
• Análise de Falhas: Auditorias de 40 casos Médios/Difíceis revelaram que muitas execuções "incorretas" na verdade progrediram parcialmente ao longo da cadeia de evidências, mas foram bloqueadas por slots de percepção ou recuperação não fechados, em vez de falharem no início.

WorldSense (Áudio-Vídeo Autocontido)

• Desempenho: O Omni-Decision alcançou 58,3% de acurácia no WorldSense.
• Transferibilidade: Apesar da ausência de ferramentas externas (busca na web, navegação) neste benchmark, o sistema de estado de evidência permaneceu eficaz, organizando evidências de mídia interna para leitura de múltipla escolha. Isso apoia a afirmação de que a interface de estado é um mecanismo de controle de nível de sistema, independente de ferramentas específicas de datasets.

Significância e Alegações

O artigo afirma que o Omni-Decision demonstra que o controle multimodal de longo horizonte não deve ser deixado ao histórico de diálogo implícito. Ao tratar o estado de evidência com escopo de consulta como o objeto de controle central, o sistema pode:

• Direcionar a Aquisição de Evidências: Identificar e perseguir diretamente necessidades específicas de evidência ausentes.
• Preservar Pistas Esparsas: Manter pistas multimodais que poderiam ser perdidas em trajetórias de formato livre de longa duração.
• Permitir Controle Inspecionável: Fornecer um mecanismo claro para reparação, resolução de conflitos e parada baseada no estado de fechamento da evidência.

Os autores posicionam o Omni-Decision como uma interface de controle de nível de sistema, e não como uma implementação de múltiplos papéis fixa. Eles enfatizam que a contribuição reside no contrato de leitura/escrita (módulos consomem um estado compartilhado, apenas eventos normalizados são commitados) e não no número específico de papéis ou ferramentas. O artigo conclui que, embora o sistema melhore significamente a tomada de decisão sobre o que está faltando e quando continuar, ele não substitui a necessidade de capacidades de percepção de baixo nível ou de incerteza calibrada nos modelos subjacentes.