A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering

Problema

Os sistemas de VideoQA (Questionamento de Vídeo) Agênticos atualmente dependem de bibliotecas de ferramentas fixas. Embora esses agentes selecionem e sequenciem ferramentas dinamicamente durante a inferência, procedimentos recorrentes precisam ser reconstruídos a partir de operações primitivas para cada nova pergunta. Essa redundância cria um overhead significativo de inferência.

A síntese de ferramentas compostas (sequências reutilizáveis de primitivas) poderia amortizar esse custo de planejamento e seleção. No entanto, avaliar o valor de tal síntese é difícil usando métricas padrão. A precisão da resposta final isoladamente ignora o esforço de inferência; um sistema pode alcançar uma precisão maior ao despender significativamente mais recursos computacionais ou, inversamente, melhorar a eficiência ao custo da precisão. As avaliações existentes falham em revelar como a expansão do espaço de ação altera o equilíbrio entre correção e custo.

Metodologia

1. Estrutura Dynamic-SAGE

Os autores propõem o Dynamic-SAGE, uma estrutura que estende o sistema agêntico de VideoQA SAGE existente. Diferente do SAGE, que utiliza um conjunto estático de ferramentas, o Dynamic-SAGE expande dinamicamente seu espaço de ação reutilizável antes da avaliação.

• Pipeline de Síntese Offline: Usando um conjunto de 150 perguntas de VideoQA retido para teste, um sistema multiagente sintetiza ferramentas compostas:
  • Agente de Assinatura (Signature Agent): Identifica padrões de raciocínio de múltiplos passos recorrentes e propõe interfaces de ferramentas (nome, descrição, entradas/saídas).
  • Agente de Implementação (Implementation Agent): Compõe operações primitivas existentes (ex: ground event, transcribe speech, analyze) em funções Python executáveis. Ele é restrito a usar apenas primitivas existentes, não adicionando novos modelos externos ou capacidades.
  • Agente de Verificação (Verification Agent): Valida candidatos quanto à segurança, conformidade de contrato e correção, rejeitando duplicatas, códigos malformados ou ferramentas que tentam realizar o compromisso da resposta final (deixando o compromisso da resposta para o orquestrador).
• Inferência: Durante a avaliação, o agente (orquestrado pelo GPT-4o) seleciona a partir da união das ferramentas estáticas originais ($T_s$) e das ferramentas dinâmicas sintetizadas ($T_d$). Uma ferramenta sintetizada aparece como uma única ação para o orquestrador, mas executa internamente uma sequência fixa de primitivas.

2. Protocolo de Avaliação Pareado e Consciente de Custo

Para avaliar rigorosamente o impacto da síntese de ferramentas, os autores introduzem um protocolo pareado consciente de custo.

• Comparação Pareada: Em vez de comparar a precisão agregada, o protocolo pareia os sistemas Static-SAGE e Dynamic-SAGE nas mesmas perguntas de entrada.
• Classificação em Seis Grupos: Cada resultado pareado é categorizado com base na correção conjunta (Static vs. Dynamic) e na mudança nas chamadas de ferramentas visíveis ($\Delta e_i$):
  1. $G_{safe}$: Ambos corretos, Dynamic usa menos chamadas.
  2. $G_{neutral}$: Ambos corretos, sem mudança nas chamadas.
  3. $G_{overhead}$: Ambos corretos, Dynamic usa mais chamadas.
  4. $G_{ideal}$: Static errado, Dynamic correto, menos chamadas.
  5. $G_{costly-gain}$: Static errado, Dynamic correto, mesma quantidade ou mais chamadas.
  6. $G_{loss}$: Static correto, Dynamic errado (tratado como uma falha, independentemente da eficiência).
• Teste de Significância: O protocolo emprega o teste de McNemar para significância estatística e intervalos de confiança de bootstrap pareados para relatar a confiabilidade entre subgrupos.

Principais Contribuições

1. Um Protocolo Pareado Consciente de Custo: Uma prática de avaliação reutilizável que audita agentes aumentados por ferramentas, reportando conjuntamente a mudança na precisão e no custo, separando ganhos de eficiência de regressões prejudiciais.
2. Testbed Dynamic-SAGE: Uma estrutura que sintetiza, valida e registra persistentemente ferramentas compostas para reuso em perguntas não vistas, sem introduzir novos modelos ou capacidades primitivas.
3. Auditoria Multi-Eixo: Uma análise empírica no SAGE-Bench revelando que a síntese de ferramentas melhora a precisão, mas desloca as estruturas de custo em vez de reduzi-las uniformemente.

Resultados

Avaliado em 1.304 amostras do SAGE-Bench (excluindo o holdout de 150 perguntas para síntese):

• Precisão: O Dynamic-SAGE melhora a precisão geral em 7,52 pontos percentuais (de 60,43% para 67,94%, $p < 0,001$).
  • Os ganhos são maiores em questões visuais (+9,29%) e abertas (+9,17%).
  • Os ganhos são estatisticamente neutros para questões verbais e de multimodalidade mista.
  • As melhorias escalam com a dificuldade, mostrando os maiores ganhos em questões "difíceis" (hard) e "muito difíceis" (very hard).
• Trade-offs de Eficiência e Custo:
  • Redução de Orquestração: O Dynamic-SAGE reduz os turnos de raciocínio e as chamadas de ferramentas visíveis em aproximadamente 28% (de 3,34 para 2,40 turnos).
  • Aumento de Tokens/Custo: Como as ferramentas compostas encapsulam múltiplas primitivas, o número total de operações primitivas aumenta em 31%. Consequentemente, o uso de tokens sobe 34%, e o custo monetário aumenta em 26%.
• Análise de Falhas:
  • A maioria das perdas de precisão ocorre em questões difíceis e abertas, onde o pipeline realiza o maior volume de trabalho.
  • A maioria das falhas (53%) acontece quando o Dynamic-SAGE usa mais chamadas de ferramentas do que o Static-SAGE, indicando que trajetórias estendidas ainda levam a respostas incorretas, em vez de uma compressão prematura.
  • A adoção é enviesada: duas ferramentas de profundidade 2 respondem pela maioria das invocações, enquanto ferramentas mais profundas são raramente usadas e menos precisas.

Significância e Alegações

O artigo afirma que a principal contribuição não é apenas o sistema, mas o protocolo que revela um "perfil multi-eixo" de desempenho que as comparações escalares de precisão ignoram.

Os autores concluem que expandir o espaço de ação via síntese de ferramentas ajuda, mas o benefício é condicional. Isso desloca o ônus do custo dos passos de orquestração (turnos de raciocínio, chamadas visíveis) para o consumo de tokens por chamada. O sistema alcança maior precisão e menos passos de interação, mas a um custo monetário e de tokens mais elevado.

Os autores observam modestamente que a abordagem atual não é uma solução universal; riscos de confiabilidade permanecem, particularmente para questões abertas e difíceis. Eles sugerem que trabalhos futuros devem focar na qualidade, distintividade e roteamento de ferramentas sintetizadas, em vez de meramente expandir o espaço de ação. O artigo não afirma resolver o VideoQA inteiramente, mas fornece um método rigoroso para auditar os trade-offs da síntese de ferramentas dinâmica.