Technische Samenvatting: Het aanleren van redeneren over tabelgegevens bij LLM's met Tri-Level Rationale Distillation (TLRD)

1. Probleemstelling

Tabelgegevens zijn het primaire medium voor de opslag van real-world informatie en drijven kritieke industriële toepassingen aan in kredietscoremodellen, de gezondheidszorg en optimalisatie van de toeleveringsketen. Hoewel traditionele boomgebaseerde ensembles (bijv. XGBoost, CatBoost) deze taken domineren vanwege hun voorspellende prestaties en efficiëntie, missen zij het vermogen om leesbare, casus-specifieke verklaringen te leveren die essentieel zijn voor besluitvorming door belanghebbenden. Omgekeerd kunnen Large Language Models (LLM's) van nature verklaringen genereren, maar hebben ze moeite met tabelgegevens vanwege hun onvermogen om dataset-specifieke patronen, feature-distributies en interacties tijdens de pre-training te vatten.

Een kritieke technische hindernis ontstaat bij het direct finetunen van LLM's op gelabelde tabeldatasets. Wanneer ze uitsluitend worden gesuperviseerd door categorische labels, lijden modellen vaak aan catastrofale vergetelheid van generatieve gedragingen, wat leidt tot verklaring-instorting (explanation collapse). In deze staat optimaliseert het model strikt voor discriminatieve mapping, waarbij het terse, enkel op labels gebaseerde outputs produceert en faalt in het genereren van vrije, op bewijs gebaseerde rationales. Bestaande few-shot LLM-benaderingen presteren vaak ondermaats vergeleken met sterke baselines en adresseren niet adequaat de optimalisatie van de kwaliteit van de verklaring in settings waar grote gelabelde datasets beschikbaar zijn.

2. Methodologie: Tri-Level Rationale Distillation (TLRD)

TLRD is een framework dat is ontworpen om label-alleen tabeldatasets om te zetten in gestructureerde, rationale-rijke supervisie voor LLM's. Het maakt gebruik van een teacher-student distillatiepipeline om een compact student-model in staat te stellen labels te voorspellen en gegronde verklaringen te genereren met behulp van alleen ruwe features tijdens de inferentie.

2.1 Tri-Level Augmented Input

Om het gebrek aan dataset-specifieke context bij het LLM aan te pakken, construeert het framework een Tri-Level Augmented Input voor het teacher-model tijdens de corpusconstructie. Deze input breidt de geserialiseerde ruwe rij uit met twee aanvullende bronnen van bewijslast:

1. Dataset-Level Statistieken: Globale distributionele context, inclus\nbij de gemiddelde waarde, standaarddeviatie, kwartielen en klasse-conditionele frequenties voor numerieke en categorische features.
2. Retrieved Neighbors: Een label-gebalanceerde set van vergelijkbare historische instanties, opgehaald op basis van overeenkomsten in categorische features en numerieke gelijkenis (cosine similarity op gestandaardiseerde vectoren).

2.2 Tri-Level Rationale Schema

Gestuurd door een vast schema, analyseert het teacher-model de augmented input om gestructureerde rationales te genereren die geconditioneerd zijn op het grondwaarheid-label (ground-truth label). Het schema dwingt drie complementaire niveaus van redeneren af:

• Instance-Level Reasoning (Self Feature-based): Analyseert specifieke feature-waarden met behulp van algemene domeinlogica en gezond verstand om de directionele impact op het doel te bepalen.
• Dataset-Level Reasoning (Global Statistics-based): Contextualiseert feature-waarden tegenover globale statistieken (bijv. het vergelijken van een waarde met klassengemiddelden of percentielen) om de verklaring te verankeren in macro-niveau bewijs.
• Comparison-Level Reasoning (Similar-cases): Gebruikt opgehaalde buren om feature-combinatiepatronen en kritieke afwijkingen te extraheren, samengevat in <Patterns> en <Deviations> blokken, om voorspellingen te valideren tegen lokale contrastieve bewijslast.

2.3 Distillatie en Implementatie

De teacher genereert een gestructureerd rationale-rapport dat het grondwaarheid-label rechtvaardigt. Een compact student-model wordt vervolgens gefinetuned (met behulp van LoRA) op dit gedistilleerde corpus. Cruciaal is dat het student-model tijdens de implementatie (deployment) alleen de ruwe geserialiseerde features ontvangt (geen externe statistieken of retrieval). Het model is getraind om de dataset-level en case-based kennis te internaliseren, wat zorgt voor zero-overhead inferentie terwijl het vermogen om de tri-level rationale te genereren behouden blijft.

3. Belangrijkste Bijdragen

• Tri-Level Evidence naar Rationales: Het paper introduceert een gestructureerd schema dat een teacher-model begeleidt bij het synthetiseren van rationales die gegrond zijn in instance-level features, dataset-level statistieken en comparison-level buren. Dit formaliseert hoe men ruwe tabeldata kan transformeren naar bewijs-rijke supervisie.
• Context-to-Parameter Distillatie: TLRD stelt een distillatiemethode voor waarbij dataset-statistieken en opgehaalde buren alleen tijdens de corpusconstructie worden gebruikt. Dit injecteert indirect dataset-specifieke kennis in de parameters van de student, waardoor efficiënte, zelfstandige inferentie mogelijk is zonder externe retrieval of statistische lookups.
• Uitgebreide Empirische Evaluatie: Het framework wordt geëvalueerd over zes diverse datasets (classificatie en regressie). De resultaten tonen aan dat TLRD de prestatiekloof tussen LLM's en state-of-the-art boom-ensembles aanzienlijk verkleint, terwijl het gegronde, leesbare verklaringen produceert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op datasets waaronder ADULT, HOME CREDIT, OKCUPID, DIABETES130US, CALIFORNIA en DIAMONDS, met gebruik van diverse student backbones (Llama 3.1-8B, Qwen3-8B, Gemma 3-12B) en teacher-modellen (GPT-OSS-20B/120B, Qwen3-Next-80B).

• Prestaties vs. Baselines: TLRD presteert significant beter dan zero-shot en few-shot LLM-baselines. Op classificatietaken bereiken TLRD-varianten concurrerende prestaties ten opzien van sterke non-LLM baselines zoals XGBoost, CatBoost en TabPFN. Zo behaalde TLRD (Gemma 3-12B) op de OKCUPID-dataset een Macro-F1 van 56,1, waarmee het TabPFN v2.5 (55,9) overtrof en dicht bij CatBoost (58,9) kwam.
• Rationale Grounding: Kwalitatieve analyse (Figuur 3) laat zien dat standaard distillatie vaak vloeiende maar generieke verklaringen produceert gebaseerd op aannames van gezond verstand. In contrast hiermee genereert TLRD verklaringen die specifieke dataset-statistieken citeren (bijv. "77,8% van de wanbetalers vs 70,4% van de niet-wanbetalers") en afwijkingen van vergelijkbare gevallen identificeren, wat zorgt voor meer gegronde besluitvormingsondersteuning.
• Ablatie-studies: Het verwijderen van ofwel dataset-statistieken of vergelijking-niveau retrieval verslechtert de prestaties, wat de complementaire aard van de tri-level bewijslast bevestigt. Bovendien presteert TLRD beter dan standaard distillatie en "Evidence-Augmented Distillation" (waarbij de teacher bewijs ziet maar het gestructureerde schema mist), wat het belang van het schema benadrukt bij het genereren van hoogwaardige supervisie.
• Schaalbaarheid: Het framework is effectief, zelfs met kleinere student-modellen (bijv. 4B parameters) die worden gesuperviseerd door mid-sized teachers, wat wijst op een praktische route voor resource-beperkte implementatie.

5. Betekenis en Beperkingen

Betekenis:
TLRD biedt een praktische afweging tussen de hoge voorspellende prestaties van boomgebaseerde ensembles en de interpreteerbaarheid van LLM's. Door dataset-specifieke redeneerpatronen te distilleren in een student-model, maakt het transparante, casus-specifieke besluitvormingsondersteuning mogelijk zonder de latentie van externe retrieval of de verklaring-instorting die geassocieerd wordt met label-alleen fine-tuning. De auteurs beschouwen dit als een waardevolle referentie voor besluitvorming met hoge inzet waar zowel nauwkeurigheid als verklaarbaarheid vereist zijn.

Beperkingen:
De auteurs erkennen verschillende beperkingen:

• Spurieuze Correlaties: Het student-model kan spurieuze correlaties of logische sprongen erven van de teacher, zelfs wanneer de teacher geconditioneerd is op grondwaarheid-labels.
• Schaalbaarheid: De aanpak is afhankelijk van feature selectie voor hoog-dimensionale datasets en kan moeite hebben met datasets met een groot aantal klassen vanwege beperkingen in de inputlengte.
• Omvang van Fine-Tuning: Vanwege computationele beperkingen maakt de studie gebruik van LoRA (parameter-efficiënte fine-tuning) in plaats van full supervised fine-tuning, wat de vraag open laat of volledige parameter-adaptatie verdere winst zou opleveren.
• Inherent LLM-risico's: De methode erft algemene LLM-beperkingen, waaronder potentiële hallucinaties en gevoeligheid voor prompt-instellingen. De auteurs benadrukken dat TLRD strikt moet worden ingezet als een besluitvormingsondersteunend instrument, en niet als een autonome beslisser, en bevelen rigoureuze fairness-audits en menselijke evaluatie aan voor real-world implementatie.