Sintesi Tecnica: Insegnare agli LLM a Ragionare su Dati Tabulari con la Tri-Level Rationale Distillation (TLRD)

1. Definizione del Problema

I dati tabulari sono il principale mezzo di archiviazione delle informazioni nel mondo reale, guidando applicazioni industriali critiche come il credit scoring, l'assistenza sanitaria e l'ottimizzazione della catena di approvvigionamento. Sebbene i tradizionali ensemble basati su alberi (ad es. XGBoost, CatBoost) dominino questi compiti grazie alle loro prestazioni predittive ed efficienza, essi mancano della capacità di fornire spiegazioni leggibili e specifiche per ogni caso, essenziali per il processo decisionale degli stakeholder. Al contrario, i Large Language Models (LLM) possono generare naturalmente spiegazioni, ma faticano con i dati tabulari a causa della loro incapacità di catturare pattern specifici del dataset, distribuzioni delle feature e interazioni durante il pre-training.

Un ostacolo tecnico critico sorge quando si tenta di sottoporre gli LLM a un fine-tuning diretto su dataset tabulari etichettati. Essendo supervisionati esclusivamente da etichette categoriche, i modelli soffrono spesso di oblio catastrofico (catastrophic forgetting) dei comportamenti generativi, portando al collasso della spiegazione (explanation collapse). In questo stato, il modello ottimizza strettamente la mappatura discriminativa, producendo output scarni e limitati alla sola etichetta, fallendo nel generare razionali a libera forma e basati sull'evidenza. Gli approoli esistenti di tipo few-shot per gli LLM spesso ottengono prestazioni inferiori rispetto ai solidi baseline e non affrontano adeguatamente l'ottimizzazione della qualità della spiegazione in contesti in cui sono disponibili grandi dataset etichettati.

2. Metodologia: Tri-Level Rationale Distillation (TLRD)

TLRD è un framework progettato per convertire dataset tabulari con sole etichette in una supervisione strutturata e ricca di razionali per gli LLM. Utilizza una pipeline di distillazione teacher-student per consentire a un modello student compatto di predire le etichette e generare spiegazioni fondate utilizzando solo le feature grezze al momento dell'inferenza.

2.1 Input Aumentato a Tre Livelli (Tri-Level Augmented Input)

Per affrontare la mancanza di contesto specifico del dataset nell'LLM, il framework costruisce un Input Aumentato a Tre Livelli per il modello teacher durante la costruzione del corpus. Questo input estende la riga serializzata con due fonti di evidenza aggiuntive:

1. Statistiche a livello di Dataset: Contesto distributivo globale, inclusi media, deviazione standard, quartili e frequenze condizionate dalla classe per le feature numeriche e categoriche.
2. Vicini Recuperati (Retrieved Neighbors): Un set bilanciato per etichetta di istanze storiche simili, recuperate sulla base di corrispondenze di feature categoriche e similitudine numerica (similarità del coseno su vettori standardizzati).

2.2 Schema dei Razionali a Tre Livelli (Tri-Level Rationale Schema)

Guidato da uno schema fisso, il modello teacher analizza l'input aumentato per generare razionali strutturati condizionati all'etichetta di verità fondamentale (ground-truth). Lo schema impone tre livelli complementari di ragionamento:

• Ragionamento a livello di Istanza (basato sulle proprie feature): Analizza i valori specifici delle feature utilizzando la logica di dominio generale e il senso comune per determinare l'impatto direzionale sul target.
• Ragionamento a livello di Dataset (basato sulle statistiche globali): Contestualizza i valori delle feature rispetto alle statistiche globali (ad es. confrontando un valore con le medie o i percentili della classe) per ancorare la spiegazione a un'evidenza macroscopica.
• Ragionamento a livello di Confronto (casi simili): Utilizza i vicini recuperati per estrarre pattern di combinazione delle feature e deviazioni critiche, riassunti nei blocchi <Patterns> e <Deviations>, per validare le predizioni contro l'evidenza contrastiva locale.

2.3 Distillazione e Deployment

Il teacher genera un rapporto di razionale strutturato che giustifica l'etichetta di verità fondamentale. Un modello student compatto viene quindi sottoposto a fine-tuning (usando LoRA) su questo corpus distillato. Fondamentalmente, durante il deployment, lo student riceve solo le feature grezze serializzate (senza statistiche esterne o recupero). Il modello è addestrato per interiorizzare la conoscenza a livello di dataset e di caso, consentendo un'inferenza a zero overhead pur mantenendo la capacità di generare il razionale a tre livelli.

3. Contributi Chiave

• Evidenza a Tre Livelli verso i Razionali: Il paper introduce uno schema strutturato che guida un modello teacher a sintetizzare i razionali basandosi su feature a livello di istanza, statistiche a livello di dataset e vicini a livello di confronto. Questo formalizza come trasformare i dati tabulari grezzi in una supervisione ricca di evidenze.
• Distillazione da Contesto a Parametri: TLRD propone un metodo di distillazione in cui le statistiche del dataset e i vicini recuperati sono utilizzati solo durante la costruzione del corpus. Ciò inietta indirettamente la conoscenza specifica del dataset nei parametri dello student, permettendo un'inferenza efficiente e autonoma senza recupero esterno o lookup statistici.
• Valutazione Empirica Completa: Il framework è valutato su sei diversi dataset (classificazione e regressione). I risultati dimostrano che TLRD riduce significativamente il divario di performance tra gli LLM e i solidi ensemble basati su alberi, producendo spiegazioni fondate e leggibili.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset tra cui ADULT, HOME CREDIT, OKCUPID, DIABETES130US, CALIFORNIA e DIAMONDS, utilizzando vari backbone per lo student (Llama 3.1-8B, Qwen3-8B, Gemma 3-12B) e modelli teacher (GPT-OSS-20B/120B, Qwen3-Next-80B).

• Performance rispetto ai Baseline: TLRD supera significativamente i baseline zero-shot e few-shot degli LLM. Nei compiti di classificazione, le varianti di TLRD raggiungono prestazioni competitive rispetto a solidi baseline non-LLM come XGBoost, CatBoost e TabPFN. Ad esempio, sul dataset OKCUPID, TLRD (Gemma 3-12B) ha raggiunto un Macro-F1 di 56.1, superando TabPFN v2.5 (55.9) e avvicinandosi a CatBoost (58.9).
• Fondatezza dei Razionali (Rationale Grounding): L'analisi qualitativa (Figura 3) mostra che la distillazione standard produce spesso spiegazioni fluide ma generiche basate su assunzioni di senso comune. Al contrario, TLRD genera spiegazioni che citano statistiche specifiche del dataset (ad es. "77.8% di default rispetto a 70.4% di non-default") e identificano deviazioni da casi simili, offrendo un supporto decisionale più fondato.
• Studi di Ablazione: Rimuovere le statistiche del dataset o il recupero a livello di confronto degrada le prestazioni, confermando la natura complementare dell'evidenza a tre livelli. Inoltre, TLRD supera la distillazione standard e la "Evidence-Augmented Distillation" (dove il teacher vede l'evidenza ma manca dello schema strutturato), evidenziando l'importanza dello schema nel generare una supervisione di alta qualità.
• Scalabilità: Il framework è efficace anche con modelli student più piccoli (ad es. 4 miliardi di parametri) supervisionati da teacher di medie dimensioni, suggerendo un percorso pratico per il deployment con risorse limitate.

5. Significato e Limitazioni

Significato:
TLRD offre un compromesso pratico tra l'elevata performance predittiva degli ensemble basati su alberi e l'interpretabilità degli LLM. Distillando i pattern di ragionamento specifici del dataset in un modello student, consente un supporto decisionale trasparente e specifico per il caso senza la latenza del recupero esterno o il collasso della spiegazione associato al fine-tuning basato solo sulle etichette. Gli autori pongono questo lavoro come un riferimento prezioso per il processo decisionale ad alto rischio dove sono richiesti sia accuratezza che spiegabilità.

Limitazioni:
Gli autori riconoscono diverse limitazioni:

• Correlazioni Spurie: Il modello student può ereditare correlazioni spurie o salti logici dal teacher, anche quando il teacher è condizionato dalle etichette di verità fondamentale.
• Scalabilità: L'approccio si affida alla selezione delle feature per dataset ad alta dimensionalità e potrebbe avere difficoltà con dataset che hanno un gran numero di classi a causa dei vincoli sulla lunghezza dell'input.
• Ambito di Fine-Tuning: A causa dei vincoli computazionali, lo studio utilizza LoRA (parameter-efficient fine-tuning) invece di un full supervised fine-tuning, lasciando aperta la questione se l'adattamento a tutti i parametri porterebbe ulteriori guadagni.
• Rischi Intrinseci degli LLM: Il metodo eredita le limitazioni generali degli LLM, inclusi potenziali allucinazioni e sensibilità alle impostazioni del prompt. Gli autori sottolineano che TLRD debba essere utilizzato strettamente come uno strumento di supporto decisionale, non come un decisore autonomo, e raccomandano rigorosi audit di equità e valutazione umana per il deployment nel mondo reale.