Resumo Técnico: Avaliando Pesquisa de Dados Profunda em LLMs

Declaração do Problema

As avaliações atuais de Modelos de Linguagem Grandes Agênticos (Agentic LLMs) concentram-se predominantemente na inteligência executiva—a capacidade de completar tarefas predefinidas ou responder a consultas específicas do usuário. Essa estrutura confunde execução com inteligência investigativa, que é a capacidade de decidir autonomamente o que vale a pena explorar, formular hipóteses e determinar quando encerrar uma investigação. Na ciência de dados do mundo real, os analistas começam com dados estruturados brutos sem perguntas predefinidas, refinando iterativamente hipóteses conforme padrões emergem. As benchmarks existentes para ciência de dados (LLM4DS) frequentemente dependem de perguntas predefinidas, avaliações subjetivas da qualidade dos relatórios ou mecanismos de "LLM como Juiz" que falham em verificar objetivamente afirmações factuais contra os dados de origem. Além disso, as benchmarks atuais tipicamente limitam as interações do agente a horizontes curtos (dezenas de etapas), falhando em capturar a complexidade da exploração autônoma de longo horizonte.

Metodologia

Formalização da Pesquisa de Dados Profunda (DDR)

Os autores formalizam a Pesquisa de Dados Profunda (DDR) como uma tarefa aberta $I = \text{DDR}(\text{LLM}, D, T)$, onde um agente recebe um banco de dados estruturado $D$ e um conjunto de ferramentas $T$ (SQL e Python), mas nenhuma pergunta, objetivo ou limite de interação predefinido.

• Entrada: Um prompt inicial mínimo especificando uma entidade de tarefa (por exemplo, "Comece a analisar o usuário com userid=2048") e metadados básicos do banco de dados.
• Processo: O agente se envolve em um loop de interação estilo ReAct $(r, t, o)$ ao longo de várias rodadas, onde $r$ é o raciocínio, $t$ é a invocação da ferramenta e $o$ é a observação. O agente determina autonomamente quando parar a exploração.
• Saída: Dois tipos de insights:
  1. Insight por Mensagem ($I_m$): Interpretações incrementais de cada rodada de interação.
  2. Insight por Trajetória ($I_t$): Um relatório abrangente que sintetiza toda a história de exploração.

Construção do DDR-Bench

Para avaliar a DDR, os autores introduzem o DDR-Bench, uma benchmark de grande escala composta por três cenários distintos do mundo real:

1. MIMIC-IV: Um banco de dados de Registros Eletrônicos de Saúde (EHR) desidentificado. Os agentes devem reconstruir trajetórias de cuidado do paciente e extrair insights clínicos de tabelas estruturadas e notas clínicas não estruturadas.
2. GLOBEM: Um conjunto de dados de psicologia esportiva e de exercícios que combina sinais de sensores vestíveis com dados de pesquisa. Os agentes devem identificar padrões temporais e vincular dados comportamentais a estados psicológicos.
3. 10-K: Relatórios financeiros de empresas públicas dos EUA, integrando demonstrações financeiras estruturadas XBRL com divulgações textuais não estruturadas. Os agentes devem sintetizar condições econômicas e tendências financeiras.

Estrutura de Avaliação:

• Verificação Baseada em Checklist: Em vez de pontuação subjetiva, a benchmark utiliza checklists factuais derivados dos componentes não estruturados dos bancos de dados (por exemplo, notas clínicas, respostas de pesquisas, divulgações financeiras).
• Pontuação Objetiva: Para cada entidade de tarefa, é gerado um checklist de fatos verificáveis. Um LLM como Verificador (GPT-5-mini) avalia se os insights gerados pelo agente fornecem evidências suficientes para apoiar cada item de fato.
• Análise de Novidade: Para abordar a limitação de que os checklists não podem cobrir todos os insights válidos, os autores realizam comparações em pares de insights "novos" (aqueles não usados para verificação de checklist) para classificar os modelos quanto à utilidade de suas descobertas não verificadas.

Design Experimental

• Scaffolding Minimalista de Agente: A benchmark utiliza um agente ReAct leve sem memória externa, módulos de planejamento ou scaffolding complexo para isolar as capacidades intrínsecas do modelo.
• Análise de Escala: O estudo examina o desempenho através de turnos de interação, consumo de tokens e custo de inferência.
• Estudos de Ablação: Os autores analisam o impacto de fatores de treinamento (escala de parâmetros, comprimento de contexto, gerações de treinamento) e módulos de agente (memória, orçamento de raciocínio) no desempenho.

Principais Resultados

Desempenho Geral

• Agência Investigativa Limitada: Mesmo modelos de fronteira lutam com a DDR. Apenas o Claude 4.5 Sonnet atinge uma precisão média de checklist acima de 40% (47,73% no geral). Outros modelos principais (GPT-5.2, DeepSeek-V3.2, GLM-4.6) pontuam significativamente mais baixo.
• Discrepância nos Tipos de Insight: O desempenho varia entre insights por mensagem ($I_m$) e por trajetória ($I_t$), sugerindo que integrar o contexto global é um desafio distinto da análise incremental.
• Correlação de Novidade: Há uma forte correlação (Spearman $\rho > 0,72$) entre a precisão do checklist e a utilidade de insights novos, validando que a avaliação baseada em checklist captura o sinal dominante da capacidade do modelo.

Escala e Dinâmicas

• Escala de Interação: O desempenho segue uma curva sigmoide. Modelos de alto desempenho (por exemplo, Claude, GLM) frequentemente atrasam a melhoria rápida, exibindo uma dinâmica "planejar-então-agir" através de planejamento implícito em vez de prompts explícitos.
• Escala de Tokens e Custo: Os ganhos de desempenho são desproporcionalmente impulsionados por tokens de alto valor em estágios tardios (consultas profundas e direcionadas) em vez de exploração ampla inicial.
• Padrões de Exploração: Modelos bem-sucedidos exibem um regime de exploração equilibrado, mantendo alta cobertura do banco de dados com baixa entropia (acesso focado). Modelos mais fracos exploram ou muito estreitamente ou distribuem a atenção de forma muito difusa.
• Autotermínio: Modelos mais fortes demonstram maior confiança no autotermínio, enquanto modelos mais fracos mostram confiança flutuante, frequentemente terminando prematuramente ou entrando em loop.

Análise de Treinamento e Módulos

• Escala Não é Suficiente: Aumentar o tamanho dos parâmetros (por exemplo, dentro da família Qwen) produz ganhos marginais (<3% de melhoria para um aumento de 10x nos parâmetros) sem treinamento agêntico específico.
• Estratégia de Treinamento Importa: Modelos com estratégias de treinamento "agêntico-primeiro" (Qwen3 e Qwen3-Next) superam significativamente seus predecessores, mesmo com menos parâmetros ativados. Isso sugere que o treinamento agêntico sistemático (pré-treinamento e aprendizado por reforço) é mais crítico do que a escala ou o comprimento do contexto.
• Módulos de Agente: Adicionar memória externa ou módulos de planejamento complexos frequentemente degrada o desempenho em comparação com a linha de base ReAct mínima, indicando que os modelos atuais se beneficiam mais de capacidades intrínsecas do que de scaffolding externo.

Modos de Falha e Alucinações

• Falha Primária: 58% dos erros decorrem de exploração insuficiente (falta de amplitude ou profundidade), frequentemente devido ao autotermínio prematuro.
• Alucinações: As taxas de alucinação são baixas (<5% para a maioria dos modelos) e mostram nenhuma correlação significativa com a precisão. Isso sugere que a contaminação de dados não é um motor primário da inflação de desempenho neste cenário.

Significado e Alegações

O artigo afirma estabelecer uma estrutura rigorosa para avaliar a inteligência investigativa, distinguindo-a da inteligência executiva. Suas principais contribuições são:

1. Formalização da DDR: Definir um cenário aberto onde os agentes devem explorar dados estruturados autonomamente sem objetivos predefinidos.
2. DDR-Bench: Fornecer a primeira benchmark de grande escala, baseada em checklist, que permite uma avaliação verificável e objetiva da exploração de dados de longo horizonte.
3. Insights Empíricos: Revelar que os modelos de fronteira atuais, embora mostrem agência emergente, estão longe de dominar a pesquisa de dados profunda. A transição para uma inteligência investigativa eficaz depende menos de scaffolding externo ou escala simples de parâmetros e mais de estratégias intrínsecas desenvolvidas através de treinamento focado em agentes.

Os autores concluem que o campo deve ir além do alinhamento resposta-por-consulta em direção a paradigmas de treinamento que cultivam autonomia ponta a ponta, permitindo que os agentes definam proativamente objetivos e derivem insights úteis de dados em grande escala.