Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data

Este trabalho apresenta uma abordagem que utiliza agentes de LLMs com ferramentas de raciocínio para induzir árvores de decisão leves e interpretáveis a partir de pequenos conjuntos de dados tabulares, alcançando desempenho competitivo com modelos de caixa preta enquanto permite a verificação de viés e a incorporação de restrições de justiça e monotonicidade.

O essencial

Imagine que você precisa ensinar um computador a tomar decisões importantes, como aprovar um empréstimo bancário ou diagnosticar uma doença, mas você tem muito poucos dados para treinar esse computador. Além disso, você precisa que as regras que o computador aprende sejam claras, justas e fáceis de explicar para um humano.

É aqui que entra o trabalho "Talking Trees" (Árvores Falantes) dos pesquisadores George Yakushev e sua equipe.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: O "Gênio" Misterioso vs. O "Especialista" Transparente

Hoje em dia, existem modelos de inteligência artificial (IA) muito poderosos para tabelas de dados (como planilhas do Excel). Eles são como gênios misteriosos: foram treinados em milhões de dados e acertam muito, mas ninguém sabe exatamente como eles chegaram à resposta. É uma "caixa preta". Se eles errarem, é difícil descobrir o porquê, e eles podem ser caros e lentos para usar.

Por outro lado, existem as Árvores de Decisão. Pense nelas como um fluxograma de perguntas e respostas (ex: "O cliente tem mais de 30 anos? Sim -> Tem renda acima de X? Sim -> Aprovar"). Elas são transparentes e baratas, mas, quando os dados são poucos, elas costumam ser "burras" e errar muito, porque não têm a experiência do "gênio".

2. A Solução: O Arquiteto Inteligente (Agente de IA)

Os autores criaram uma nova abordagem. Em vez de deixar o computador tentar adivinhar tudo sozinho, eles usaram um Modelo de Linguagem (LLM) — como o GPT-5 — não para fazer a previsão final, mas para atuar como um Arquiteto Inteligente.

Imagine que você tem um engenheiro sênior (o LLM) que sabe muito sobre construção, mas nunca viu a sua casa específica. Você dá a ele:

1. Um conjunto de dados pequeno (os planos da casa).
2. Um kit de ferramentas (código Python para cortar, colar e ajustar partes da árvore).
3. Instruções em linguagem natural (ex: "Não use o gênero da pessoa para decidir", ou "Se a dívida aumentar, o risco deve aumentar").

O engenheiro (LLM) começa a desenhar a árvore de decisão. Ele não faz tudo de uma vez. Ele pensa, tenta uma estrutura, testa nos dados, vê onde errou, corta um galho, planta outro, e repete o processo. É como um artesão refinando uma escultura até que fique perfeita.

3. Como Funciona o Processo (O Ciclo de Pensamento)

O sistema funciona em um ciclo de três passos, como um detetive resolvendo um caso:

• Pensar: O engenheiro diz: "Acho que a raiz da árvore deve ser baseada na idade, não na renda. Vou testar isso."
• Agir: Ele usa as ferramentas para modificar a árvore (cortar um galho, adicionar uma nova pergunta).
• Observar: Ele olha os resultados. "Ops, essa mudança piorou a precisão. Vou tentar outra coisa."

Ele faz isso várias vezes até criar a melhor árvore possível.

4. Os Superpoderes dessa Abordagem

O que torna esse método especial são três coisas:

• Leveza e Velocidade: Uma vez que o engenheiro termina a árvore, o "engenheiro" sai de cena. A árvore final é um arquivo simples que qualquer computador pode rodar instantaneamente, sem precisar de servidores caros de IA. É como construir uma ponte: você precisa de engenheiros e guindastes para construir, mas depois, os carros passam sozinhos.
• Controle Total (Justiça e Regras): Você pode pedir ao engenheiro coisas que são difíceis de programar em código tradicional.
  • Exemplo de Justiça: "Por favor, faça a árvore não discriminar mulheres." O engenheiro entende o pedido e ajusta as regras para garantir isso.
  • Exemplo de Regra de Negócio: "Se o risco de crédito subir, a chance de aprovação deve descer." O engenheiro garante que a árvore obedeça a essa lógica.
• Transparência: Como a árvore é construída passo a passo, você pode ver o "diário de bordo" do engenheiro. Você sabe exatamente por que ele tomou cada decisão. Isso é crucial para áreas sensíveis como saúde e finanças, onde você precisa explicar a decisão para um juiz ou um paciente.

5. O Resultado

O estudo mostrou que essa "árvore construída por um engenheiro IA" é tão boa quanto os modelos "gênios misteriosos" (caixas pretas) em muitos casos, mas com a vantagem de ser explicável, barata e justa.

Em resumo:
Eles não usaram a IA para "adivinhar" o futuro. Eles usaram a IA para projetar um sistema de regras simples e transparente que aprende com os dados e obedece às suas instruções éticas. É como transformar um oráculo mágico e incompreensível em um manual de instruções claro e confiável, escrito por um especialista.

Resumo técnico

Resumo Técnico: Talking Trees

1. Problema e Motivação

O trabalho aborda o desafio de modelagem de dados tabulares em cenários de baixo recurso (conjuntos de dados pequenos). Embora os modelos fundamentais de tabulação (tabular foundation models) baseados em In-Context Learning (ICL) tenham alcançado desempenho superior ao estado da arte, eles apresentam três limitações críticas:

1. Caixa Preta: São difíceis de interpretar, pois as regras de decisão estão implícitas nos pesos e procedimentos de inferência.
2. Custo de Inferência: Requerem chamadas pesadas de LLM para cada previsão, tornando a implantação cara e lenta.
3. Falta de Controle: É difícil incorporar restrições de domínio específicas (como justiça/fairness, monotonicidade ou regras de negócio) de forma flexível.

O objetivo dos autores é criar uma alternativa leve, interpretável e controlável que não sacrifique o desempenho, utilizando a capacidade de raciocínio de LLMs apenas durante a fase de treinamento para induzir árvores de decisão.

2. Metodologia: Indução Ágil de Árvores (Agentic Tree Induction)

Os autores propõem reformular a construção de árvores de decisão como uma tarefa agente-LLM, onde o modelo não gera a árvore inteira de uma vez, mas a refina iterativamente através de um ciclo de Pensamento-Ação-Observação.

Componentes Principais:

• Agente de Raciocínio: Utiliza um LLM com capacidade de raciocínio (ex: GPT-5, DeepSeek R1, GLM-4.5) equipado com um conjunto mínimo de ferramentas (toolkit) para manipular árvores.
• Ferramentas de Manipulação de Árvores: O agente tem acesso a uma biblioteca Python personalizada que permite:
  • Visualizar: Imprimir a estrutura da árvore e diagnosticar nós.
  • Podar (Prune): Converter nós em folhas.
  • Selecionar Dados: Isolar amostras que passam por um nó específico.
  • Enxertar (Graft): Substituir sub-árvores por novas estruturas aprendidas ou manuais.
  • Editar: Modificar parâmetros de nós (limiares, features).
• Ciclo de Refinamento:
  1. Pensamento: O agente formula hipóteses (ex: "Este nó tem alta variância, preciso dividir por uma nova feature").
  2. Ação: O agente executa código Python usando as ferramentas para modificar a árvore.
  3. Observação: O agente avalia o novo modelo (RMSE, AUC, etc.) e decide se mantém a mudança.
• Inferência Leve: Uma vez construída, a árvore é um modelo autônomo (standalone). A inferência não requer mais chamadas ao LLM, reduzindo o custo para uma simples sequência de comparações de features, similar a uma árvore de decisão tradicional.

3. Contribuições Chave

1. Procedimento de Treinamento Ágil: Introduz um método que usa LLMs e ferramentas para construir, verificar e refinar árvores de decisão, produzindo um modelo final leve.
2. Interpretabilidade e Controle: Oferece uma alternativa transparente aos modelos de caixa preta, permitindo que restrições sejam especificadas informalmente via prompt (linguagem natural).
3. Desempenho Competitivo: Demonstra que uma única árvore construída por esse agente pode competir com modelos de caixa preta (como XGBoost e TabPFN) em benchmarks de baixo recurso.
4. Código e Benchmarks Abertos: Disponibilização do código de avaliação e utilitários para comparação futura.

4. Resultados Experimentais

Os autores avaliaram o método em 17 conjuntos de dados tabulares do OpenML (TabArena v0.1), cobrindo classificação binária, multiclasse e regressão.

• Comparação com Métodos Tradicionais: As árvores induzidas por agentes superaram consistentemente as árvores CART padrão (padrão e ajustadas) na maioria dos conjuntos de dados.
• Comparação com Modelos Fundamentais: Embora modelos como TabPFN e XGBoost ainda liderem em alguns casos, a abordagem de árvore única reduz significativamente a lacuna de desempenho.
• Correção de Modelos: Ao usar a árvore induzida para corrigir as previsões do TabPFN, o desempenho geral melhorou na maioria dos casos, combinando a força do modelo fundamental com a interpretabilidade da árvore.
• Análise de Ablação:
  • A remoção do ciclo de agente (tentativa de gerar a árvore em um único zero-shot) degradou drasticamente o desempenho.
  • O uso de metadata (descrições das features) geralmente melhorou o desempenho, mas descrições incorretas puderam prejudicá-lo.
  • Testes de "vazamento de dados" (data leak) mostraram que o agente não está apenas memorizando benchmarks, pois o desempenho colapsou quando a estrutura de dependência dos dados foi corrompida, mesmo mantendo a descrição do dataset.

5. Controle e Flexibilidade (Seção 5)

A grande vantagem da abordagem é a capacidade de incorporar restrições via prompt, algo difícil em métodos tradicionais:

• Features Ausentes (Missing Features): O agente foi capaz de construir árvores que utilizam uma feature (ex: Glicose no dataset Diabetes) que não estava presente nos dados de treinamento, mas foi descrita no prompt. O modelo compensou a falta de dados usando conhecimento prévio do LLM, alcançando desempenho similar ao modelo treinado com a feature completa.
• Justiça (Fairness): Ao solicitar explicitamente no prompt que a árvore fosse "neutra em relação ao gênero", o modelo reduziu significativamente as métricas de viés (Paridade Estatística e Igualdade de Oportunidade) no dataset Adult, mantendo um desempenho competitivo.
• Restrições de Monotonicidade: O agente foi capaz de ajustar a árvore para respeitar direções monotônicas (ex: maior renda deve levar a maior probabilidade de aprovação), reduzindo violações de monotonicidade sem degradar drasticamente a acurácia.

6. Significado e Impacto

O trabalho "Talking Trees" representa um avanço significativo na interseção entre IA Generativa e Aprendizado de Máquina Clássico.

• Democratização: Permite que especialistas de domínio (sem expertise em ML) guiem a construção de modelos através de linguagem natural, incorporando conhecimento de domínio e regras éticas.
• Transparência: Fornece um rastro de raciocínio (traces) que pode ser auditado para detectar viés ou vazamento de dados, algo ausente em modelos de caixa preta.
• Eficiência: Resolve o dilema entre desempenho e custo de inferência, oferecendo modelos que são poderosos durante o treinamento (graças ao LLM) mas extremamente baratos e rápidos em produção.

Em suma, o paper demonstra que LLMs podem atuar como "engenheiros de modelos" inteligentes, criando estruturas de decisão interpretáveis e controláveis que rivalizam com os melhores modelos automatizados atuais.