💻 computer science

A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering

Este artículo introduce un protocolo de auditoría emparejado y consciente del costo que evalúa conjuntamente la precisión y el costo de inferencia para revelar que el marco Dynamic-SAGE, el cual sintetiza herramientas compuestas para VideoQA agéntico, mejora significativamente la precisión y reduce los turnos de razonamiento mientras aumenta el uso de tokens y el costo general, demostrando la necesidad de una evaluación multieje sobre las métricas escalares.

Autores originales: Aseel Mohamed, Rama AlHamidi, Mohamed Rayan Barhdadi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Publicado 2026-07-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Aseel Mohamed, Rama AlHamidi, Mohamed Rayan Barhdadi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un misterio complejo viendo un video largo y complicado. Tienes una caja de herramientas llena de herramientas básicas: una lupa, un micrófono, un motor de búsqueda y un bloc de notas.

La forma antigua (Static-SAGE)
En el enfoque tradicional, cada vez que recibes una nueva pregunta sobre el video, tienes que empezar desde cero. Incluso si tienes que hacer los mismos tres pasos una y otra vez (como "encontrar la escena", "escuchar el audio" y "leer la transcripción"), tienes que elegir manualmente cada herramienta, usarla, dejarla y luego elegir la siguiente para cada pregunta. Es como tener que caminar a la cocina, tomar un cuchillo, picar una cebolla, volver y luego hacerlo de nuevo para cada sándwich que haces. Funciona, pero es lento y repetitivo.

La nueva idea (Dynamic-SAGE)
Los investigadores detrás de este artículo se preguntaron: "¿Qué pasaría si pudiéramos construir una máquina personalizada de múltiples pasos que haga esos tres pasos automáticamente?".

Crearon un sistema llamado Dynamic-SAGE. Antes de que el sistema comience a responder preguntas, observa un conjunto de videos de práctica. Nota patrones, como: "Oh, cada vez que alguien pregunta sobre un evento específico, el sistema siempre escucha el audio y luego observa los fotogramas". Así, construye una nueva "superherramienta" personalizada que combina esos pasos en un solo botón.

Ahora, cuando el sistema enfrenta una nueva pregunta, en lugar de hacer clic en tres botones separados, simplemente presiona un "superbotón" que hace todo el trabajo instantáneamente.

El problema: La auditoría "consciente del costo"
Esta es la parte complicada. Los investigadores se dieron cuenta de que solo verificar si la respuesta es correcta no es suficiente. También necesitas saber si el sistema está trabajando más duros o más inteligentes.

Inventaron una nueva forma de probar esto, como una auditoría financiera para una fábrica. No solo preguntaron: "¿Los sándwiches saben mejor?" (Precisión). También preguntaron:

¿Los sándwiches saben mejor? (Exactitud)
¿La máquina utilizó menos pasos? (Eficiencia)
¿Utilizó más electricidad o ingredientes caros? (Costo)

Lo que encontraron
Cuando realizaron la auditoría, los resultados fueron una mezcla de buenas noticias y un giro inesperado:

Las buenas noticias: El nuevo sistema acertó las respuestas un 7.5% más de veces que el anterior. También dejó de "vagar por ahí" tanto, reduciendo el número de veces que tenía que pedir ayuda en aproximadamente un 28%. Fue como si el chef dejara de caminar de un lado a otro hacia la cocina.
El giro inesperado: Aunque el chef dio menos pasos, la "factura de la electricidad" (el costo de procesamiento de la computadora) aumentó un 26%.
- ¿Por qué? Porque las "superherramientas" son pesadas. Cuando el sistema presiona ese único "superbotón", en realidad ejecuta muchos cálculos complejos dentro de ese mismo botón. Es como cambiar una bicicleta por un auto deportivo: llegas a tu destino más rápido y con menos cambios de marcha, pero quemas más gasolina por milla.

Dónde funciona mejor
El nuevo sistema es un superhéroe para preguntas visuales (como "¿De qué color era el auto?") y preguntas abiertas (como "¿Por qué se fue el personaje?"). Ayuda más cuando el video es largo y complicado.

Sin embargo, no ayuda mucho con preguntas que dependen puramente del habla o de una mezcla de sonido y vista. En esos casos, las nuevas herramientas no marcaron una gran diferencia.

La conclusión
El artículo concluye que construir estas "superherramientas" personalizadas es un movimiento inteligente porque hace que el sistema sea más inteligente y preciso, incluso si cuesta un poco más de ejecutarlo. Es un intercambio: pagas un poco más en "dinero de gasolina" (costo de computación) para obtener un conductor mucho mejor (la IA) que comete menos errores.

Los investigadores advierten que este sistema todavía tiene dificultades con las preguntas más difíciles y confusas, pero para el resto, es una mejora clara que ahorra tiempo y esfuerzo, incluso si el precio es ligeramente más alto.

Declaración del Problema

Los sistemas de VideoQA (Preguntas y Respuestas sobre Video) agénticos actuales dependen de librerías de herramientas fijas. Aunque estos agentes seleccionan y secuencian herramientas dinámicamente durante la inferencia, los procedimientos recurrentes deben reconstruirse desde operaciones primitivas para cada nueva pregunta. Esta redundancia crea una sobrecarga de inferencia significativa.

La síntesis de herramientas compuestas (secuencias reutilizables de primitivas) podría amortizar este coste de planificación y selección. Sin embargo, evaluar el valor de dicha síntesis es difícil utilizando métricas estándar. La precisión de la respuesta final por sí sola ignora el esfuerzo de inferencia; un sistema podría lograr una mayor precisión gastando significativamente más recursos computacionales o, por el contrario, mejorar la eficiencia a costa de la precisión. Las evaluaciones existentes no logran revelar cómo la expansión del espacio de acción desplaza el equilibrio entre la corrección y el coste.

Metodología

1. Marco de Trabajo Dynamic-SAGE

Los autores proponen Dynamic-SAGE, un marco que extiende el sistema de VideoQA agéntico SAGE existente. A diferencia de SAGE, que utiliza un conjunto estático de herramientas, Dynamic-SAGE expande dinámicamente su espacio de acción reutilizable antes de la evaluación.

Pipeline de Síntesis Offline: Utilizando un conjunto de reserva de 150 preguntas de VideoQA, un sistema multi-agente sintetiza herramientas compuestas:
- Agente de Firma (Signature Agent): Identifica patrones de razonamiento multietapa recurrentes y propone interfaces de herramientas (nombre, descripción, entradas/salidas).
- Agente de Implementación (Implementation Agent): Compone operaciones primitivas existentes (por ejemplo, ground event, transcribe speech, analyze) en funciones de Python ejecutables. Está restringido a usar solo las primitivas existentes, sin añadir nuevos modelos externos o capacidades.
- Agente de Verificación (Verification Agent): Valida los candidatos en cuanto a seguridad, cumplimiento de contrato y corrección, rechazando duplicados, código malformado o herramientas que intenten comprometer una respuesta final (dejando el compromiso de la respuesta al orquestador).
Inferencia: Durante la evaluación, el agente (orquestado por GPT-4o) selecciona del conjunto de la unión de las herramientas estáticas originales ( $T_s$ ) y las herramientas dinámicas sintetizadas ( $T_d$ ). Una herramienta sintetizada aparece como una única acción para el orquestador, pero internamente ejecuta una secuencia fija de primitivas.

2. Protocolo de Evaluación Pareado Sensible al Coste

Para evaluar rigurosamente el impacto de la síntesis de herramientas, los autores introducen un protocolo pareado sensible al coste.

Comparación Pareada: En lugar de comparar la precisión agregada, el protocolo empareja los sistemas Static-SAGE y Dynamic-SAGE en las mismas preguntas de entrada.
Clasificación de Seis Grupos: Cada resultado pareado se categoriza según la corrección conjunta (Static vs. Dynamic) y el cambio en las llamadas a herramientas visibles ( $\Delta e_i$ $Δ e_{i}$ ):
1. $G_{safe}$ : Ambos correctos, Dynamic usa menos llamadas.
2. $G_{neutral}$ : Ambos correctos, sin cambios en las llamadas.
3. $G_{overhead}$ : Ambos correctos, Dynamic usa más llamadas.
4. $G_{ideal}$ : Static incorrecto, Dynamic correcto, menos llamadas.
5. $G_{costly-gain}$ : Static incorrecto, Dynamic correcto, mismas/más llamadas.
6. $G_{loss}$ : Static correcto, Dynamic incorrecto (tratado como un fallo independientemente de la eficiencia).
Pruebas de Significancia: El protocolo emplea la prueba de McNemar para la significancia estadística e intervalos de confianza de bootstrap pareado para reportar la fiabilidad a través de los subgrupos.

Contribuciones Clave

Un Protocolo Pareado Sensible al Coste: Una práctica de evaluación reutilizable que audita agentes aumentados por herramientas al reportar conjuntamente la precisión y los cambios de coste, separando las ganancias de eficiencia de las regresiones perjudiciales.
Banco de Pruebas Dynamic-SAGE: Un marco que sintetiza, valida y registra persistentemente herramientas compuestas para su reutilización en preguntas no vistas sin introducir nuevos modelos o capacidades primitivas.
Auditoría Multi-Eje: Un análisis empírico en SAGE-Bench que revela que la síntesis de herramientas mejora la precisión pero desplaza las estructuras de coste en lugar de reducirlas uniformemente.

Resultados

Evaluado en 1,304 muestras de SAGE-Bench (excluyendo el holdout de síntesis de 150 preguntas):

Precisión: Dynamic-SAGE mejora la precisión general en 7.52 puntos porcentuales (del 60.43% al 67.94%, $p < 0.001$ $p < 0.001$ ).
- Las ganancias son mayores en preguntas visuales (+9.29%) y abiertas (+9.17%).
- Las ganancias son estadísticamente neutrales para preguntas verbales y de modalidad mixta.
- Las mejoras escalan con la dificultad, mostrando las mayores ganancias en preguntas "difíciles" (hard) y "muy difíciles" (very hard).
Equilibrio Eficiencia y Coste:
- Reducción de la Orquestación: Dynamic-SAGE reduce los turnos de razonamiento y las llamadas a herramientas visibles en aproximadamente un 28% (de 3.34 a 2.40 turnos).
- Aumento de Tokens/Coste: Debido a que las herramientas compuestas encapsulan múltiples primitivas, el número total de operaciones primitivas aumenta un 31%. En consecuencia, el uso de tokens aumenta un 34%, y el coste monetario aumenta un 26%.
Análisis de Fallos:
- La mayoría de las pérdidas de precisión ocurren en preguntas difíciles y abiertas donde el pipeline realiza la mayor parte del trabajo.
- La mayoría de los fallos (53%) ocurren cuando Dynamic-SAGE utiliza más llamadas a herramientas que Static-SAGE, lo que indica que las trayectorias extendidas aún llegan a respuestas incorrectas, en lugar de una sobrecompresión prematura.
- La adopción está sesgada: dos herramientas de profundidad 2 representan la mayoría de las invocaciones, mientras que las herramientas más profundas se usan raramente y son menos precisas.

Significancia y Reivindicaciones

El artículo sostiene que la contribución principal no es solo el sistema, sino el protocolo que revela un "perfil multi-eje" del rendimiento que las comparaciones de precisión escalar pasan por alto.

Los autores concluyen que expandir el espacio de acción mediante la síntesis de herramientas sí ayuda, pero el beneficio es condicional. Desplaza la carga del coste desde los pasos de orquestación (turnos de razonamiento, llamadas visibles) hacia el consumo de tokens por llamada. El sistema logra una mayor precisión y menos pasos de interacción, pero a un mayor coste monetario y de tokens.

Los autores señalan modestamente que el enfoque actual no es una solución universal; los riesgos de fiabilidad persisten, particularmente para las preguntas abiertas y difíciles. Sugieren que el trabajo futuro debería centrarse en mejorar la calidad, distintividad y el enrutamiento de las herramientas sintetizadas en lugar de simplemente expandir el espacio de acción. El artículo no pretende resolver el VideoQA por completo, sino proporcionar un método riguroso para auditar los compromisos de la síntesis dinámica de herramientas.