Resumo Técnico: Ensinando LLMs a Raciocinar sobre Dados Tabulares com Destilação de Racional de Triplo Nível (TLRD)

1. Definição do Problema

Dados tabulares são o principal meio de armazenamento de informações no mundo real, impulsionando aplicações industriais críticas em pontuação de crédito, saúde e otimização de cadeias de suprimentos. Embora os modelos de conjuntos de árvores tradicionais (ex: XGBoost, CatBoost) dominem essas tarefas devido ao seu desempenho preditivo e eficiência, eles carecem da capacidade de fornecer explicações legíveis e específicas para cada caso, essenciais para a tomada de decisão das partes interessadas. Por outro lado, os Grandes Modelos de Linguagem (LLMs) podem gerar explicações naturalmente, mas enfrentam dificuldades com dados tabulares devido à sua incapacidade de capturar padrões específicos do conjunto de dados, distribuições de atributos e interações durante o pré-treinamento.

Um obstáculo técnico crítico surge ao tentar ajustar finamente (fine-tuning) LLMs diretamente em conjuntos de dados tabulares rotulados. Sob supervisão puramente de rótulos categóricos, os modelos frequentemente sofrem de esquecimento catastrófico de comportamentos generativos, levando ao colapso da explicação. Nesse estado, o modelo otimiza estritamente o mapeamento discriminativo, produzindo saídas concisas e apenas com o rótulo, falhando em gerar racionais livres de forma e fundamentados em evidências. As abordagens existentes de poucos disparos (few-shot) para LLMs frequentemente apresentam desempenho inferior aos fortes baselines e não abordam adequadamente a otimização da qualidade da explicação em cenários onde grandes conjuntos de dados rotulados estão disponíveis.

2. Metodologia: Destilação de Racional de Triplo Nível (TLRD)

O TLRD é um framework projetado para converter conjuntos de dados tabulares contendo apenas rótulos em uma supervisão estruturada e rica em racionais para LLMs. Ele emprega um pipeline de destilação professor-aluno para permitir que um modelo aluno compacto preveja rótulos e gere explicações fundamentadas usando apenas atributos brutos durante a inferência.

2.1 Entrada Aumentada de Triplo Nível

Para abordar a falta de contexto específico do conjunto de dados no LLM, o framework constrói uma Entrada Aumentada de Triplo Nível para o modelo professor durante a construção do corpus. Esta entrada estende a linha bruta serializada com duas fontes de evidência adicionais:

1. Estatísticas do Conjunto de Dados: Contexto distributivo global, incluindo média, desvio padrão, quartis e frequências condicionadas à classe para atributos numéricos e categóricos.
2. Vizinhos Recuperados: Um conjunto de instâncias históricas similares, balanceado por rótulo, recuperado com base em correspondências de atributos categóricos e similaridade numérica (similaridade de cosseno em vetores padronizados).

2.2 Esquema de Racional de Triplo Nível

Guiado por um esquema fixo, o modelo professor analisa a entrada aumentada para gerar racionais estruturados condicionados ao rótulo de verdade fundamental (ground-truth). O esquema impõe três níveis complementares de raciocínio:

• Raciocínio de Nível de Instância (Baseado em Atributos Próprios): Analisa valores de atributos específicos usando lógica de domínio geral e senso comum para determinar o impacto direcional no alvo.
• Raciocínio de Nível de Conjunto de Dados (Baseado em Estatísticas Globais): Contextualiza valores de atributos contra estatísticas globais (ex: comparando um valor com médias de classe ou percentis) para ancorar a explicação em evidências de macro nível.
• Raciocínio de Nível de Comparação (Casos Similares): Utiliza vizinhos recuperados para extrair padrões de combinação de atributos e desvios críticos, resumidos em blocos de <Patterns> (Padrões) e <Deviations> (Desvios), para validar previsões contra evidências contrastivas locais.

2.3 Destilação e Implantação

O professor gera um relatório de racional estruturado justificando o rótulo de verdade fundamental. Um modelo aluno compacto é então ajustado finamente (usando LoRA) neste corpus destilado. Crucialmente, durante a implantação, o aluno recebe apenas os atributos brutos serializados (sem estatísticas externas ou recuperação). O modelo é treinado para internalizar o conhecimento de nível de conjunto de dados e de caso, permitindo uma inferência de custo zero enquanto mantém a capacidade de gerar o racional de triplo nível.

3. Principais Contribuições

• Evidência de Triplo Nível para Racionais: O artigo introduz um esquema estruturado que guia um modelo professor a sintetizar racionais fundamentados em atributos de nível de instância, estatísticas de nível de conjunto de dados e vizinhos de nível de comparação. Isso formaliza como transformar dados tabulares brutos em supervisão rica em evidências.
• Destilação de Contexto-para-Parâmetro: O TLRD propõe um método de destilação onde estatísticas do conjunto de dados e vizinhos recuperados são usados apenas durante a construção do corpus. Isso injeta indiretamente o conhecimento específico do conjunto de dados nos parâmetros do aluno, permitindo uma inferência eficiente e independente, sem necessidade de recuperação externa ou buscas estatísticas.
• Avaliação Empírica Abrangente: O framework é avaliado em seis conjuntos de dados diversos (classificação e regressão). Os resultados demonstram que o TLRD reduz significativamente a lacuna de desempenho entre LLMs e modelos de conjuntos de árvores de última geração, produzindo explicações fundamentadas e legíveis.

4. Resultados Experimentais

Experimentos foram conduzidos em conjuntos de dados incluindo ADULT, HOME CREDIT, OKCUPID, DIABETES130US, CALIFORNIA e DIAMONDS, utilizando vários backbones de alunos (Llama 3.1-8B, Qwen3-8B, Gemma 3-12B) e modelos professores (GPT-OSS-20B/120B, Qwen3-Next-80B).

• Desempenho vs. Baselines: O TLRD supera significativamente os baselines de zero-shot e few-shot de LLMs. Em tarefas de classificação, variantes do TLRD alcançam um desempenho competitivo contra fortes baselines não-LLM como XGBoost, CatBoost e TabPFN. Por exemplo, no conjunto de dados OKCUPID, o TLRD (Gemma 3-12B) alcançou um Macro-F1 de 56,1, superando o TabPFN v2.5 (55,9) e aproximando-se do CatBoost (58,9).
• Fundamentação do Racional: A análise qualitativa (Figura 3) mostra que a destilação padrão frequentemente produz explicações fluentes, mas genéricas, baseadas em suposições de senso comum. Em contraste, o TLRD gera explicações que citam estatísticas específicas do conjunto de dados (ex: "77,8% de inadimplência vs 70,4% de não inadimplência") e identificam desvios de casos similares, oferecendo um suporte de decisão mais fundamentado.
• Estudos de Ablação: Remover tanto as estatísticas do conjunto de dados quanto a recuperação de nível de comparação degrada o desempenho, confirmando a natureza complementar da evidência de triplo nível. Além disso, o TLRD supera a destilação padrão e a "Destilação Aumentada por Evidência" (onde o professor vê a evidência, mas carece do esquema estruturado), destacando a importância do esquema na geração de supervisão de alta qualidade.
• Escalabilidade: O framework é eficaz mesmo com modelos alunos menores (ex: 4 bilhões de parâmetros) supervisionados por professores de médio porte, sugerindo um caminho prático para implantação com recursos limitados.

5. Significância e Limitações

Significância:
O TLRD oferece um equilíbrio prático entre o alto desempenho preditivo dos modelos de conjuntos de árvores e a interpretabilidade dos LLMs. Ao destilar padrões de raciocínio específicos do conjunto de dados para um modelo aluno, ele permite um suporte de decisão transparente e específico para cada caso, sem a latência de recuperação externa ou o colapso da explicação associado ao ajuste fino baseado apenas em rótulos. Os autores posicionam isso como uma referência valiosa para a tomada de decisão de alto risco, onde tanto a precisão quanto a explicabilidade são necessárias.

Limitações:
Os autores reconhecem diversas limitações:

• Correlações Espúrias: O modelo aluno pode herdar correlações espúrias ou saltos lógicos do professor, mesmo quando o professor é condicionado aos rótulos de verdade fundamental.
• Escalabilidade: A abordagem depende da seleção de atributos para conjuntos de dados de alta dimensão e pode enfrentar dificuldades com conjuntos de dados que possuem um grande número de classes devido às restrições de comprimento de entrada.
• Escopo de Ajuste Fino: Devido a restrições computacionais, o estudo utiliza LoRA (ajuste fino eficiente de parâmetros) em vez de ajuste fino de parâmetros totais, deixando aberta a questão de se o ajuste de todos os parâmetros traria ganhos adicionais.
• Riscos Inerentes ao LLM: O método herda as limitações gerais dos LLMs, incluindo potencial de alucinações e sensibilidade às configurações de prompt. Os autores enfatizam que o TLRD deve ser implantado estritamente como uma ferramenta de suporte à decisão, e não como um tomador de decisão autônomo, recomendando auditorias de equidade rigorosas e avaliação humana para implantação no mundo real.