🤖 AI

Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA

El artículo presenta Omni-Decision, un sistema de agentes sin entrenamiento que mejora la precisión de la QA omnimodal mediante el mantenimiento de un estado de evidencia estructurado y explícito para rastrear, validar y cerrar sistemáticamente las brechas de información a través de diversas fuentes de medios, logrando mejoras significativas de rendimiento sobre las líneas base existentes.

Autores originales: Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

Publicado 2026-07-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero las pistas están esparcidas por todas partes: un detalle minúsculo en un clip de video, un susurro en una pista de audio, un dato oculto en un sitio web y un número que tienes que calcular en una calculadora. La mayoría de los detectives de IA actuales trabajan como alguien que garabatea frenéticamente notas en una servilleta desordenada. Miran una pista, la anotan, miran otra, la anotan, y esperan que para cuando lleguen al final, recuerden qué nota pertenece a qué parte del misterio. A menudo, se pierden en sus propios garabatos, olvidan lo que ya han encontrado o intentan resolver el rompecabezas antes de tener todas las piezas.

Este documento presenta un nuevo sistema de detective llamado Omni-Decision. En lugar de una servilleta desordenada, este sistema utiliza una lista de verificación estructurada y viva llamada "estado de la evidencia". Piensa en esta lista de verificación como una pizarra mágica que el detective no puede ignorar. No solo almacena notas; rastrea activamente qué está confirmado, qué falta, qué es contradictorio y qué es lo siguiente que debe calcularse.

Así es como funciona la magia:

La Lista de Verificación: Cuando se hace una pregunta, el sistema la desglosa inmediatamente en "necesidades" específicas en la pizarra. Por ejemplo, "Encontrar la marca del reloj en el video" o "Encontrar la fecha en que Instagram se lanzó".
El Bucle: El detective elige una herramienta (como una búsqueda web o un escáner de video) para completar un elemento de la lista.
El Juez: Antes de que el detective continúe, un "Crítico" estricto revisa la nueva información. ¿Resolvió el problema? ¿Contradice algo encontrado anteriormente?
La Actualización: Un "Reductor" especial actualiza la pizarra. Si se encuentra una pista, el cuadro de "faltante" se vuelve verde. Si dos pistas se enfrentan, se levanta una bandera roja de "conflicto". El detective nunca avanza hasta que la pizarra indique que el paso actual ha terminado.
El Paro: El sistema sabe exactamente cuándo detenerse. No adivina una respuesta solo porque esté cansado; solo responde cuando la pizarra muestra que cada pieza requerida de evidencia está asegurada y no quedan conflictos. Si se queda sin herramientas y la pizarra sigue incompleta, admite la derrota en lugar de inventar una respuesta falsa.

Lo que el documento argumenta en contra:
Los autores argumentan explícitamente que el simple hecho de hacer los modelos de IA más grandes o darles una "memoria" más larga (como una servilla más larga) no es la solución. Demuestran que tener un historial masivo de acciones pasadas no ayuda si la IA no puede rastrear qué está realmente fundamentado y qué sigue faltando. También descartan la idea de que el sistema necesite ser "entrenado" con nuevos datos para funcionar de esta manera; funciona organizando cómo se utilizan las herramientas existentes, no aprendiendo nuevos trucos.

Los Resultados:
El documento midió este sistema en dos pruebas difíciles. En una prueba llamada OmniGAIA, que implica búsquedas en el mundo abierto a través de videos, audio y la web, Omni-Decision obtuvo una precisión del 45.6%. Este es un salto enorme comparado con el agente "base" estándar, que solo obtuvo un 18.33%. Es una ganancia de 27.3 puntos porcentuales.

En una segunda prueba llamada WorldSense, que se centra en integrar audio y video sin búsquedas web externas, el sistema obtuvo un 58.3%, superando a la línea base por 30.2 puntos porcentuales.

Los autores sugieren que este enfoque es particularmente bueno para detectar cuándo un detective está estancado. En su análisis de los intentos fallidos, encontraron que muchas respuestas "incorrectas" en realidad tenían al detective progresando de verdad; simplemente se quedaron bloqueados porque una pieza específica de evidencia (como leer un texto diminuto en un letrero) era demasiado difícil de encontrar para las herramientas. La fuerza del sistema no es que nunca falle, sino que muestra claramente dónde falló y por qué, en lugar de simplemente adivinar a ciegas.

En resumen, Omni-Decision demuestra que para misterios complejos de múltiples pasos, tener un mapa claro y compartido de lo que se sabe y lo que falta es mucho más poderoso que simplemente tener una memoria más larga o un cerebro más grande. Convierte el proceso caótico de buscar pistas en una misión disciplinada y paso a paso.

Resumen Técnico: Omni-Decision

Planteamiento del Problema

La búsqueda de evidencia omnimodal para el Procesamiento de Preguntas y Respuestas (QA) requiere que los agentes respondan preguntas donde la evidencia necesaria está distribuida de forma dispersa en fuentes heterogéneas, incluyendo videos, audios, imágenes, páginas web y resultados computacionales. Los autores identifican tres desafíos primarios en este entorno:

Evidencia Dispersa y Distribuida: Las pistas relevantes pueden aparecer en segmentos cortos de video, rangos específicos de subtítulos, eventos de audio, regiones de imágenes o resultados web externos, lo que dificulta la localización de todos los componentes necesarios.
Observabilidad Parcial: El sistema no puede saber de antemano qué atributos de entidad, relaciones o valores intermedios son requeridos hasta que la evidencia previa ha sido fundamentada.
La Preparación de la Respuesta como un Problema de Control: El agente debe decidir no solo qué adquirir a continuación, sino también si una respuesta candidata está suficientemente respaldada, si existen conflictos que requieran reparación y cuándo detenerse si las brechas son imposibles de llenar.

El artículo argumenta que los sistemas multimodales agénticos existentes suelen fallar porque dependen de historiales de diálogo implícitos, scratchpads o trayectorias de herramientas de formato libre. Estos enfoques dificultan el seguimiento de la evidencia fundamentada, la identificación de atributos faltantes o la determinación de cuándo se completa una cadena de evidencia. En consecuencia, el problema se enmarca no meramente como un problema de escalado de contexto, sino como un problema de mantenimiento de estado.

Metodología: Omni-Decision

Los autores proponen Omni-Decision, un sistema sin entrenamiento que redefine el QA omnimodal como un proceso de cierre de evidencia con alcance de consulta (query-scoped evidence-closure process). La innovación central es el mantenimiento de un Estado de Evidencia ( $S_t$ ) explícito, estructurado y actualizable que sirve como el objeto de control central para todo el bucle de inferencia.

1. Estado de Evidencia con Alcance de Consulta

A diferencia de la memoria de video general o los registros de herramientas, el Estado de Evidencia es específico para la consulta actual y contiene cuatro componentes mutables:

$E_t$ (Evidencia Confirmada): Átomos de evidencia confirmada con fuentes y soporte temporal.
$C_t$ (Conflictos No Resueltos): Registros de contradicciones entre fuentes de evidencia.
$F_t$ (Dependencias de Hechos/Computación): Rastrea hechos externos, completitud de atributos de entidades y resultados de computación.
$U_t$ (Necesidades de Evidencia Abiertas): Listas de preguntas no resueltas e incertidumbre.

El sistema inicializa $S_0$ a partir de la consulta antes de cualquier llamada a herramientas. A medida que el agente interactúa con las herramientas, el estado se actualiza de manera determinista.

2. Bucle de Inferencia y Control

El sistema opera en un bucle (Algoritmo 1) donde todos los módulos de toma de decisiones leen de una vista de estado compartida, mientras que solo un módulo escribe en ella:

Planificador (Planner): Lee un resumen acotado del contexto inmutable ( $R_0$ ) y el estado actual ( $S_t$ ) para seleccionar la siguiente acción (uso de herramientas o finalización).
Herramientas (Tools): Ejecutan acciones (por ejemplo, fundamentación de video, búsqueda web, ejecución de código) y devuelven observaciones.
Crítico (Critic): Valida si las nuevas observaciones respaldan, entran en conflicto o dejan abiertas las necesidades de evidencia actuales.
Reductor (Reducer): Es el único componente que escribe en el estado. Normaliza las observaciones y los veredictos del crítico en eventos tipados y los registra en $S_{t+1}$ utilizando reglas deterministas de actualización de campos.
Finalizador (Finalizer): Redacta una respuesta solo cuando el estado indica que está lista.

3. Condiciones de Preparación y Parada

La preparación de la respuesta se deriva estrictamente del estado, no como una decisión independiente del planificador:
$\text{ready}(S_t) = (U_t = \emptyset) \land \text{complete}(F_t) \land (C_t = \emptyset)$
El sistema termina con una respuesta "suficiente" solo si todas las necesidades abiertas han sido llenas, todas las dependencias están resueltas y no existen conflictos. Si ninguna acción disponible puede plausiblemente reducir una necesidad abierta o resolver un conflicto, el sistema se detiene con un estatus de "insuficiente" en lugar de forzar una respuesta sin sustento.

Contribuciones Clave

Formulación: Los autores formulan el QA de búsqueda de evidencia omnimodal como un problema de cierre de evidencia con alcance de consulta, que requiere que el agente mantenga explícitamente entidades fundamentadas, atributos abiertos, relaciones entre entidades y dependencias externas, en lugar de confiar en un historial implícito.
Diseño del Sistema: Proponen Omni-Decision, un sistema de estado de evidencia sin entrenamiento. Una distincción arquitectónica clave es que la planificación, verificación, reparación y parada están todas condicionadas por la misma vista de estado, mientras que el Reductor es el único escritor del estado. Esto hace que las trayectorias sean inspeccionables, replicables y ablables.
Evaluación: El sistema es evaluado en OmniGAIA (mundo abierto, aumentado con herramientas) y WorldSense (audio-video autocontenido), demostrando que el control de estado explícito mejora el rendimiento a través de diferentes formatos de tareas.

Resultados Experimentales

OmniGAIA (Recolección de Evidencia en Mundo Abierto)

Rendimiento: Omni-Decision logró una precisión del 45.6% en el benchmark OmniGAIA.
Mejora: Esto representa una mejora de +27.3 puntos porcentuales sobre el agente base oficial de OmniGAIA (18.33%) y una mejora de +30.2 puntos porcentuales sobre el baseline de WorldSense (58.3% vs. 28.1% para OmniAgent).
Ablación: Eliminar el estado de evidencia (ablación Sin-Estado o No-State) causó una caída significativa en la precisión (por ejemplo, -9.17 puntos en la configuración por defecto), confirmando que la ganancia es separable de la elección del planificador o del backend de percepción.
Análisis de Fallos: Las auditorías de 40 casos de nivel Medio/Difícil revelaron que muchas ejecuciones "incorrectas" en realidad progresaron parcialmente a lo largo de la cadena de evidencia, pero fueron bloqueadas por slots de percepción o recuperación sin cerrar, en lugar de fallar al iniciar.

WorldSense (Audio-Video Autocontenido)

Rendimiento: Omni-Decision logró un 58.3% de precisión en WorldSense.
Transferibilidad: A pesar de la ausencia de herramientas externas (búsqueda web, navegación) en este benchmark, el sistema de estado de evidencia siguió siendo efectivo, organizando la evidencia de medios internos para la lectura de opción múltica. Esto respalda la afirmación de que la interfaz de estado es un mecanismo de control a nivel de sistema independiente de las herramientas específicas del conjunto de datos.

Significado y Reivindicaciones

El artículo afirma que Omni-Decision demuestra que el control multimodal de largo horizonte no debe dejarse al historial de diálogo implícito. Al tratar el estado de evidencia con alcance de consulta como el objeto de control central, el sistema puede:

Apuntar la Adquisición de Evidencia: Identificar y perseguir directamente necesidades de evidencia específicas faltantes.
el Preservar Indicios Dispersos: Mantizar indicios multimodales que de otro modo podrían perderse en largas trayectorias de formato libre.
Permitir un Control Inspeccionable: Proporcionar un mecanismo claro para la reparación, resolución de conflictos y parada basados en el estado de cierre de la evidencia.

Los autores posicionan a Omni-Decision como una interfaz de control a nivel de sistema más que como una implementación de múltiples roles fija. Enfatizan que la contribución reside en el contrato de lectura/escritura (los módulos consumen un estado compartido, solo se comprometen eventos normalizados) más que en el número específico de roles o herramientas. El artículo concluye que, si bien el sistema mejora significativamente la toma de decisiones sobre qué falta y cuándo continuar, no reemplaza la necesidad de capacidades de percepción de bajo nivel o de una incertidumbre calibrada en los modelos subyacentes.