Resumo Técnico: VeriTrace: Evolução de Modelos Mentais para Agentes de Pesquisa Profunda

Declaração do Problema

Agentes de pesquisa profunda enfrentam o desafio de navegar em paisagens informacionais vastas, estruturalmente interdependentes e pervasivamente incertas. Sistemas existentes tentam gerenciar isso externalizando artefatos intermediários de pesquisa (por exemplo, esboços, bancos de evidências, listas de tarefas) para ir além da janela de contexto do LLM. No entanto, esses sistemas dependem em grande parte do raciocínio implícito do LLM para evoluir essas representações intermediárias. Os autores argumentam que, sem regulação explícita, essas camadas intermediárias são facilmente contaminadas por informações de qualidade mista, causando a propagação de erros ao longo das dependências. Consequentemente, os sistemas atuais frequentemente substituem a escala do modelo pela ausência de mecanismos regulatórios, levando à degradação do desempenho quando os modelos de base são fixos ou quando as tarefas se tornam altamente incertas.

O problema central é identificar quais loops regulatórios são necessários para permitir que o "modelo mental" de um agente (sua representação intermediária da tarefa) se adapte à desordem, alinhe continuamente a compreensão da tarefa com a realidade e evolua em uma direção saudável.

Metodologia: O Framework VeriTrace

Os autores propõem o VeriTrace, um framework de grafo cognitivo que implementa explicitamente três loops regulatórios para governar a evolução do modelo mental do agente. O sistema trata a camada intermediária não como memória estática, mas como uma representação dinâmica do status de aprendizado do agente, insights de evidências e incertezas.

1. Estrutura do Grafo Cognitivo

O modelo mental do agente é instanciado como um Grafo Cognitivo $G_t = (S_t, C_t)$:

• Nós ($N_t$): Representam conceitos sob investigação. Cada nó armazena critérios de aceitação, descobertas acumuladas, um estado cognitivo (DESCONHECIDO, PARCIAL, CONHECIDO) e um perfil de qualidade.
• Arestas ($E_t$): Representam relações de investigação (questões estratégicas) entre conceitos, carregando histórico de busca e status (a resolver, investigando, resolvido, esgotado).
• Conteúdo: Nós e arestas armazenam descobertas estruturadas, contradições e pontuações de qualidade derivadas de um mecanismo de pontuação CR-AAP (Moeda, Relevância, Autoridade, Precisão, Propósito).

2. Os Três Loops Regulatórios

O VeriTrace operacionaliza três loops de feedback específicos, baseando-se em conceitos da ciência cognitiva (metacognição, processamento preditivo e assimilação/acomodação) como vocabulário de design:

• Atualização Interpretativa (Assimilação):

  • Mecanismo: À medida que novas descobertas são extraídas, elas não são acumuladas passivamente. Em vez disso, o Gerenciador do Grafo Cognitivo as interpreta contra o estado atual do grafo. As descobertas são classificadas como confirmatórias, contraditórias, preenchimento de lacunas ou surpreendentes.
  • Função: Isso molda ativamente o que conta como uma observação utilizável. Atualiza os critérios residuais do nó e o estado cognitivo, garantindo que o sistema rastreie exatamente o quão longe cada conceito foi resolvido, em vez de apenas preencher um repositório de memória.
  • Implementação: Utiliza um operador de atualização estruturado ($\oplus_G$) que incorpora descobertas em uma estrutura de dois níveis (específica do item e entre itens) e atualiza o estado cognitivo $\sigma$.

• Feedback de Desvio (Processamento Preditivo):

  • Mecanismo: Antes de uma busca, o planejador declara expectativas para um conceito. Após uma busca, o resultado é pontuado contra essas expectativas usando um Sinal de Desvio $\delta_t^j$ que compreende relevância do conteúdo, credibilidade da fonte, barreiras de acessibilidade e força de descoberta inesperada.
  • Função: Este sinal direciona o planejador para uma de cinco estratégias de busca específicas (Explorar, Verificar, Substituir, Pivotar, Explorar) em vez de acionar uma nova tentativa indiferenciada. Permite que o sistema distinga entre uma falha estratégica (fonte errada) e uma falha de enquadramento (conceito errado).
  • Implementação: Um mapeamento $\pi: D \to A_{search}$ particiona o espaço de desvio para selecionar a próxima ação ótima.

• Revisão de Esquema (Acomodação):

  • Mecanismo: Quando o feedback acumulado indica que o próprio enquadramento atual diverge da realidade (por exemplo, contradições se acumulam ou sinais de desvio persistem na mesma região), o agente propõe uma operação de reestruturação estrutural.
  • Função: Isso reescreve rótulos de conceitos, relações e objetivos de investigação, preservando as evidências existentes (Invariante I1). Permite que o agente escape de um enquadramento inicial errado em vez de ficar confinado a ele.
  • Implementação: Cinco operadores estruturais ($R_{conc}, R_{aug}, R_{pivot}, R_{prune}, R_{correct}$) modificam a topologia do grafo. Por exemplo, $R_{conc}$ concretiza um nó placeholder em entidades específicas, e $R_{pivot}$ rotaciona o eixo de dependência quando as evidências co-localizam por entidade em vez de dimensão.

3. Dinâmica do Sistema

O sistema alterna entre Assimilação (disparar tarefas de busca e atualizar o grafo) e Acomodação (propor reestruturações estruturais). Um pipeline de escrita consome o grafo final e o repositório de evidências para produzir um relatório, garantindo a rastreabilidade de citações através de um processo de três camadas (Planejador de Esboço, Planejador de Seção, Escritor de Seção) que limita estritamente o acesso à informação.

Contribuições Principais

1. Identificação de Loops Regulatórios: O artigo identifica três loops de feedback explícitos (atualização interpretativa, feedback de desvio, revisão de esquema) como mecanismos centrais para regular o modelo mental de um agente sob incerteza.
2. Implementação do VeriTrace: Um framework de grafo cognitivo que organiza a pesquisa em torno de conceitos em vez de subtarefas, implementando explicitamente os três loops para permitir a preservação de evidências sob revisão estrutural.
3. Validação Empírica: Experimentos abrangentes demonstrando que loops regulatórios explícitos melhoram o desempenho de pesquisa profunda além do que é alcançável apenas pela escala do modelo de base.

Resultados

Os autores avaliaram o VeriTrace no DeepResearch Bench (DRB) e no DeepConsult.

• Ganhos de Desempenho: Usando modelos de base Qwen3.5-27B correspondentes, o VeriTrace superou a melhor linha de base correspondente (WebWeaver) em 4,22 pontos percentuais (pp) na dimensão Insight e 1,49 pp na pontuação Geral do DRB. No DeepConsult, alcançou uma taxa de vitória geral 5,9 pp maior.
• Código Aberto de Estado da Arte: Com um modelo de base Config-DeepSeek (DeepSeek-V4-Pro), o VeriTrace alcançou o resultado reprodutível de código aberto mais forte no DRB (Geral 55,77, Insight 59,56).
• Estudos de Ablação:
  • Remover o Feedback de Desvio (A1) causou a maior queda única (−1,65 pp), inflando o volume de busca em 31% enquanto reduzia as taxas de sucesso.
  • Remover a Revisão de Esquema (A2) e a Atualização Interpretativa (A3) degradou significativamente o desempenho em consultas que exigem adaptação estrutural (−4,75 pp e −5,18 pp, respectivamente, no subconjunto sensível à acomodação).
  • A ablação completa (Afull) reduziu o desempenho abaixo da linha de base, confirmando que os loops regulatórios não são meramente aditivos, mas fundamentais.

Significado e Alegações

O artigo argumenta que a natureza aparentemente "faminta por escala" da pesquisa profunda deve-se parcialmente à falta de loops regulatórios, onde a escala do modelo substitui a regulação ausente. O VeriTrace demonstra que a regulação explícita pode criar "margem de manobra" ao longo de eixos diferentes do que a escala sozinha.

• Além da Escala: Mesmo com modelos de base menores, o modelo mental regulado do VeriTrace permite que ele supere linhas de base que usam modelos de fronteira muito maiores (por exemplo, Claude-Sonnet-4.5) na dimensão Insight. Isso sugere que a qualidade do processo de raciocínio (sobre o que o modelo raciocina) é tão crítica quanto o poder bruto de raciocínio do modelo.
• Operacionalização da Autorregulação: O trabalho operacionaliza a autorregulação (metacognição, processamento preditivo) como um mecanismo executável em vez de uma metáfora. Fornece um vocabulário de design para construir agentes que podem se adaptar a tarefas de longo horizonte e incertas, alinhando continuamente seus modelos internos de tarefa com a realidade externa.
• Limitações: Os autores observam que a avaliação está atualmente centrada no DeepResearch Bench e no DeepConsult, e a generalização para outras tarefas de ambiente aberto (por exemplo, navegação na web, descoberta científica) permanece a ser validada. Além disso, os gatilhos de reestruturação são heurísticos, e o sistema atualmente constrói o grafo do zero por tarefa, sem transferência entre tarefas.