Resumo Técnico: AGENTIC-IMODELS

Declaração do Problema

O campo da Ciência de Dados Agêntica (ADS) avança rapidamente, com sistemas delegando cada vez mais tarefas analíticas intermediárias — como seleção de modelos, interpretação de coeficientes e elaboração de conclusões — a agentes autônomos. No entanto, existe um desalinhamento crítico: os sistemas ADS atuais dependem de ferramentas e modelos de interpretabilidade projetados para consumo humano. Essas ferramentas frequentemente produzem saídas contendo visualizações, componentes complexos interveníveis ou texto não estruturado, que são difíceis de serem analisados de forma confiável por agentes. Essa incompatibilidade leva a análises pouco confiáveis, escolhas analíticas obscurecidas e falhas potenciais no ciclo de vida da ciência de dados. Embora a literatura sobre aprendizado de máquina interpretável centrado no humano (por exemplo, árvores de decisão, modelos aditivos generalizados) seja rica, ela não foi adaptada para otimizar a interpretabilidade para agentes, definida como a capacidade de um LLM simular com precisão o comportamento de um modelo apenas lendo sua representação em string.

Metodologia

Os autores propõem o AGENTIC-IMODELS, um loop de autoresearch agêntico projetado para evoluir ferramentas de ciência de dados otimizadas especificamente para a interpretabilidade por agentes. O sistema opera através dos seguintes componentes:

1. O Loop de Autoresearch

O mecanismo central é um agente de codificação (por exemplo, Claude Code ou Codex) que modifica iterativamente uma classe Python (interpretable_regressor.py) para maximizar simultaneamente dois objetivos:

• Desempenho Preditivo: Medido pela classificação média do Erro Quadrático Médio Raiz (RMSE) em um conjunto de 65 conjuntos de dados tabulares de regressão.
• Interpretabilidade por Agente: Medida por uma nova Pontuação de Interpretabilidade por Agente, definida como a taxa de aprovação de testes avaliados por LLM.

O loop prossegue em etapas: o agente propõe uma modificação no modelo, o modelo é ajustado aos dados de treinamento, sua saída __str__ é gerada e um avaliador LLM tenta responder a perguntas quantitativas sobre o comportamento do modelo com base apenas nessa string. Se as respostas do agente corresponderem à verdade fundamental (derivada da função ajustada), o teste é aprovado.

2. Métrica de Interpretabilidade por Agente

A métrica substitui experimentos humanos por testes automatizados baseados em LLM. O conjunto consiste em 200 testes divididos em seis categorias:

• Atribuição de Recursos: Identificar recursos importantes, classificá-los e detectar os irrelevantes.
• Simulação de Pontos: Prever saídas para entradas específicas.
• Análise de Sensibilidade: Determinar a direção da mudança e a sensibilidade unitária.
• Raciocínio Contrafactual: Resolver problemas inversos (encontrar entradas para saídas alvo).
• Compreensão Estrutural: Avaliar a compacidade do modelo e as regiões de decisão.
• Simulação de Funções Complexas: Simular não linearidades, interações e funções por partes.

Para evitar "hacking de recompensa" (onde os modelos simplesmente memorizam as respostas dos testes), o conjunto é dividido em um conjunto de desenvolvimento (usado durante a otimização) e um conjunto retido (usado para avaliação).

3. Configuração Experimental

Os autores executaram o loop usando Claude Code (Opus-4.6/4.7) e Codex (GPT-5.3) em vários níveis de esforço de raciocínio. Eles avaliaram os modelos evoluídos contra 16 baselines de cinco famílias: Modelos Lineares, Baseados em Árvores, Aditivos, Baseados em Regras e Modelos de Caixa Preta. A avaliação incluiu conjuntos de dados retidos e testes de interpretabilidade retidos para garantir generalização.

Principais Contribuições

1. Reenquadramento da Interpretabilidade: O artigo muda o paradigma de projetar modelos interpretáveis por humanos para projetar modelos interpretáveis por agentes. Ele postula que a "representação em string" de um modelo é a interface primária para o raciocínio de agentes.
2. Framework AGENTIC-IMODELS: Um loop de autoresearch totalmente autônomo que descobre novas classes de modelos otimizando uma métrica de interpretabilidade automatizada e inovadora.
3. Novas Classes de Modelos: O sistema descobriu uma biblioteca de regressores compatíveis com scikit-learn que alcançam melhorias de Pareto sobre as baselines existentes, empurrando a fronteira do desempenho preditivo e da interpretabilidade por agentes.
4. Impacto a Montante: Os modelos evoluídos foram integrados como um pacote Python e testados em fluxos de trabalho ADS de ponta a ponta, demonstrando ganhos significativos de desempenho.

Resultados

• Melhorias de Pareto: Os AGENTIC-IMODELS evoluídos ocupam uma região do espaço desempenho-interpretabilidade anteriormente não ocupada pelas baselines. Por exemplo, modelos como HingeEBM alcançaram uma classificação de previsão normalizada de 0,19 (perto do melhor TabPFN de caixa preta) enquanto mantinham uma pontuação de interpretabilidade por agente de 0,71 (significativamente maior que os 0,17 do TabPFN).
• Generalização: Os modelos generalizaram para conjuntos de dados retidos e testes de interpretabilidade retidos. Embora alguns modelos tenham exibido hacking de recompensa no conjunto de desenvolvimento, a maioria mostrou forte correlação entre as pontuações de interpretabilidade de desenvolvimento e retidas ($r=0,65$).
• Desempenho ADS de Ponta a Ponta: Equipar quatro agentes ADS diferentes (Copilot CLI, Claude Code, Codex) com a biblioteca evoluída AGENTIC-IMODELS melhorou seu desempenho no benchmark BLADE em 8% a 73% nas métricas de correção, completude e clareza. As melhorias foram mais pronunciadas para agentes com modelos base mais fracos.
• Padrões Qualitativos: Os modelos evoluídos frequentemente empregaram "complexidade de exibição limitada" (por exemplo, limites rígidos na profundidade da árvore ou orçamentos de recursos) e "otimização de exibição" (desacoplando o motor preditivo da representação em string, como usar um EBM oculto para corrigir resíduos enquanto exibe uma equação linear simplificada).

Significado e Alegações

Os autores afirmam que o AGENTIC-IMODELS representa um passo crítico para garantir que os insights dos dados sejam corretamente compreendidos e atuados por agentes de IA. À medida que os sistemas ADS se tornam mais capazes, as ferramentas que eles usam devem ser projetadas para os próprios agentes, e não para observadores humanos.

O artigo posiciona este trabalho como o primeiro a adaptar sistematicamente propriedades estruturais que auxiliam a interpretabilidade humana (espalhamento, aditividade, modularidade) em propriedades adequadas para LLMs. Os autores observam que, embora a métrica atual dependa de avaliadores LLM (que podem ter vieses), a forte correlação entre a métrica e o desempenho downstream do ADS sugere que ela captura um sinal útil. Eles concluem que, à medida que os LLMs melhoram na análise de modelos estruturados, frameworks como o AGENTIC-IMODELS permitirão uma interpretação mais sofisticada, potencialmente super-humana, de dados complexos, movendo o campo em direção a um futuro onde agentes realizam a vasta maioria do trabalho de ciência de dados.