Resumo Técnico: Diagnosticando Modos de Falha de Colaboração de Estado Compartilhado em Agentes Visuais com Restrição de Recursos

Declaração do Problema

Sistemas de raciocínio visual modular dependem cada vez mais de memória de trabalho compartilhada (ex: "quadros brancos" ou scratchpads) para externalizar estados intermediários, permitindo que modelos de capacidade limitada decomponham consultas complexas em etapas verificáveis. No entanto, a eficácia deste paradigma permanece não comprovada sob regimes de restrição de recursos, especificamente ao utilizar aprendizes fracos (modelos de 4B–8B parâmetros) com orçamentos de computação estritos.

A hipótese central deste trabalho é que, em tais configurações de baixa capacidade, o loop colaborativo atua não como um repositório de memória confiável, mas como um canal de comunicação ruidoso. Cada turno adicional de interação incorre em custos computacionais lineares enquanto introduz riscos de acumulação de ruído, onde notas intermediárias não fundamentadas são "endurecidas" em evidências incorretas, ou deriva de política (policy drift), onde o modelo se desloca para saídas subespecificadas. O artigo argumenta que, sem uma auditoria de integridade rigorosa, a dinâmica de falha da evolução do estado intermediário nesses regimes permanece subexplorada.

Metodologia: O Framework CoSee

Para investigar esses limites, os autores introduzem o CoSee, um framework de auditoria e protocolo de colaboração projetado para medir a utilidade do contexto compartilhado sob restrições de modelos pequenos.

1. Formalização do Loop de Inferência

O problema é formulado como um processo de decisão sequencial onde um modelo de linguagem visual $M_\theta$ gera uma resposta $a$ condicionada a uma entrada visual $I$ e uma consulta $q$, mediada por uma sequência de estados latentes discretos (o Quadro, $B_{1:T}$). O framework trata a trajetória de inferência como um traço probabilístico $\tau = (I, q, B_{1:T}, \hat{a})$.

2. Protocolos Experimentais

O estudo compara três protocolos de inferência distintos sob prompts e limites de decodificação estritamente combinados (máximo de 32 novos tokens por chamada, $T=3$ etapas):

• Inferência Direta (Baseline): Uma geração de turno único sem rastreamento de estado intermediário.
• Refinamento Iterativo de Malha Aberta (Open-Loop):
  • Agente Único: Um agente atualiza o quadro iterativamente.
  • Dual-Agent (Scanner–Checker):* Dois papéis derivados do mesmo backbone operam em turnos alternados (um propõe evidências, o outro refina/refuta).
• Transição com Portão (Verified-Board): Um mecanismo de portão condicional onde uma função de verificação $V_\phi$ (parametrizada pelo mesmo backbone) filtra as entradas propostas para o quadro. Apenas entradas marcadas como "Suportadas" são anexadas ao quadro; outras são descartadas. Isso atua como um gargalo de informação para prevenir a propagação de ruído.

3. Configuração de Avaliação

• Backbones: Os experimentos utilizam modelos da classe 4B–8B: Qwen3-VL-4B/8B-Instruct, Phi-4-multimodal-instruct e Gemma-3-4B-it.
• Benchmarks: Três distribuições representando distintos modos de falha:
  • SlideVQA: Recuperação de múltiplas páginas (regime de alta revocação).
  • ChartQAPro: Raciocínio quantitativo com perturbações adversariais (regime de alta precisão).
  • VQAonline: Síntese de código aberto a partir de dados da web (regime sensível à política).
• Métricas: Além do Exact Match (EM) e Loose Match padrão, os autores empregam Pontuação Robusta a Formato (para isolar alucinação de erros de formatação) e F1 Consciente de Política (para detectar colapso de cobertura). Crucialmente, eles impõem uma política de pontuação "sem exclusão", retendo saídas malformadas ou vazadas como falhas para penalizar a instabilidade do protocolo.
• Análise de Custo: O desempenho é avaliado contra o custo computacional usando fronteiras de Pareto Custo–Acurácia, plotando utilidade (acurácia) contra o total de tokens gerados.

Resultados Principais

A investigação empírica revela um Paradoxo de Eficiência distinto: o uso ingênuo de memória compartilhada frequentemente degrada o desempenho em vez de melhorá-lo para aprendizes fracos.

1. Retornos Negativos sobre Computação

Em todos os três backbones e conjuntos de dados, os protocolos de malha aberta de agente duplo e agente único frequentemente apresentam desempenho inferior ao baseline de turno único direto.

• ChartQAPro & VQAonline: A colaboração ingênua mostra quedas de desempenho estatisticamente significativas. O aumento de computação (tokens) correlaciona-se negativamente com a acurácia, colocando esses métodos no quadrante de "utilidade negativa" da fronteira de Pareto.
• SlideVQA: Embora tarefas de recuperação mostrem ganhos marginais ou neutros, elas não exibem a severa degradação vista em tarefas de raciocínio intenso, sugerindo que o modo de falha é específico para cadeias de raciocínio, e não para simples recuperação de evidências.

2. Modos de Falha Identificados

Diagnósticos ao nível de traço isolam dois mecanismos dominantes que impulsionam essa degradação:

• Reforço de Ruído (ChartQAPro): No raciocínio quantitativo, notas intermediárias não fundamentadas (ex: leitura incorreta de uma legenda de gráfico) são escritas no quadro e, subsequentemente, tratadas como evidência de verdade absoluta pelo respondente final. Isso cria um ciclo de feedback positivo onde erros de percepção precoces são "endurecidos" na resposta final.
• Colapso de Política (VQAonline): Na síntese de código aberto, a presença de contexto intermediário induz um deslocamento de distribuição. O modelo colapsa para respostas excessivamente concisas (mudando de bins de 17–32 tokens para 0–16 tokens), levando a uma severa subcobertura dos componentes necessários da resposta. Esta é uma dependência aprendida do resumo do quadro, e não um resultado de truncamento de tokens.

3. O Papel da Verificação

O controle Verified-Board demonstra que o gargalo não é a capacidade de raciocínio, mas a fidelidade da comunicação. A introdução de um portão de verificação simples (checagem de Suporte/Refutação) recupera a maior parte da queda de desempenho no ChartQAPro, detendo efetivamente a propagação de erros. Isso confirma que a verificação leve é a condição mínima necessária para o escalonamento confiável neste regime.

Significância e Contribuições

O artigo apresenta três contribuições principais para a compreensão de agentes visuais modulares:

1. Framework de Auditoria Formal (CoSee): Fornece um protocolo rigoroso para rastrear o fluxo de informação e a integridade em sistemas VQA modulares, permitindo a investigação sistemática dos limites da colaboração de aprendizes fracos.
2. Taxonomia de Mecanismos de Falha: Estabelece uma classificação dos modos de falha dominantes — especificamente Reforço de Ruído e Colapso de Política — demonstrando que espaços de trabalho compartilhados ingênuos podem amplificar alucinações em vez de resolvê-las.
3. Princípios de Design para Agentes com Restrição de Recursos: As descobertas desafiam a intuição de que "pensar no papel" inerentemente melhora o raciocínio. Em vez disso, o artigo argumenta que, para modelos de 4B–8B, o gargalo reside na fidelidade da comunicação, não na profundidade do raciocínio. Ele postula que o design modular confiável requer controles de malha fechada (transições com portão) e gargalos de informação fundamentados para evitar a termodinâmica da propagação de erro, em vez de simplesmente proliferar papéis de malha aberta.

Em conclusão, o trabalho sugere que, para agentes com restrição de recursos, o aumento da computação em tempo de teste sem mecanismos de verificação explícitos gera retornos decrescentes ou negativos. O caminho para agentes modulares confiáveis reside na engenharia de mecanismos que filtrem o ruído na fonte, garantindo que o estado compartilhado atue como um suporte de raciocínio válido, e não como um canal ruidoso.