Technisches Resümee: Lehren von LLMs über tabellarische Daten mittels Tri-Level Rationale Distillation (TLRD)

1. Problemstellung

Tabellarische Daten sind das primäre Medium für die Speicherung realer Informationen und treiben kritische industrielle Anwendungen in der Kreditwürdigkeitsprüfung, im Gesundheitswesen und in der Lieferkettenoptimierung voran. Während traditionelle baumbasierte Ensembles (z. B. XGBoost, CatBoost) diese Aufgaben aufgrund ihrer Vorhersageleistung und Effizienz dominieren, fehlt ihnen die Fähigkeit, lesbare, fallspezifische Erklärungen zu liefern, die für die Entscheidungsfindung von Stakeholdern essenziell sind. Im Gegensatz dazu können Large Language Models (LLMs) zwar natürlich Erklärungen generieren, haben jedoch Schwierigkeiten mit tabellarischen Daten, da sie nicht in der Lage sind, datenspezifische Muster, Merkmalsverteilungen und Interaktionen während des Pre-trainings zu erfassen.

Ein kritisches technisches Hindernis entsteht, wenn versucht wird, LLMs direkt auf gelabelten tabellarischen Datensätzen feinabzustimmen. Wenn sie ausschließlich durch kategoriale Labels überwacht werden, leiden Modelle oft unter katastrophalem Vergessen (catastrophic forgetting) von generativen Verhaltensweisen, was zu einem Erklärungszusammenbruch (explanation collapse) führt. In diesem Zustand optimiert das Modell strikt auf diskriminative Abbildung, produziert knappe Outputs, die nur das Label enthalten, und versagt bei der Generierung freier, evidenzbasierten Begründungen. Bestehende Few-Shot-LLM-Ansätze schneiden oft schlechter ab als starke Baselines und adressieren die Optimierung der Erklärungsqualität in Szenarien, in denen große gelabelte Datensätze verfügbar sind, nicht angemessen.

2. Methodik: Tri-Level Rationale Distillation (TLRD)

TLRD ist ein Framework, das darauf ausgelegt ist, rein label-basierte tabellarische Datensätze in strukturierte, rationale-reiche Supervision für LLMs umzuwandeln. Es verwendet eine Teacher-Student-Distillations-Pipeline, um ein kompaktes Student-Modell zu befähigen, Labels vorherzusagen und fundierte Erklärungen unter Verwendung nur der Rohmerkmale zur Laufzeit zu generieren.

2.1 Tri-Level Augmented Input

Um den Mangel an datenspezifischem Kontext des LLMs zu adressieren, konstruiert das Framework während der Korpus-Konstruktion einen Tri-Level Augmented Input für das Teacher-Modell. Dieser Input erweitert die serialisierte Rohzeile um zwei zusätzliche Evidenzquellen:

1. Datensatz-Ebene Statistiken: Globaler kontextueller Verteilungskontext, einschließlich Mittelwert, Standardabweichung, Quartilen und klassenbedingter Häufigkeiten für numerische und kategoriale Merkmale.
2. Abgerufene Nachbarn (Retrieved Neighbors): Ein label-balancierter Satz ähnlicher historischer Instanzen, die basierend auf Übereinstimmungen kategorialer Merkmale und numerischer Ähnlichkeit (Kosinus-Ähnlichkeit auf standardisierten Vektoren) abgerufen wurden.

2.2 Tri-Level Rationale Schema

Geleitet durch ein festes Schema analysiert das Teacher-Modell den augmentierten Input, um strukturierte Rationales zu generieren, die auf das Ground-Truth-Label konditioniert sind. Das Schema erzwingt drei komplementäre Ebenen des Schließens:

• Instanz-Ebene (Selbst-Merkmalsbasiert): Analysiert spezifische Merkmalswerte unter Verwendung allgemeiner Domänenlogik und Common Sense, um den gerichteten Einfluss auf das Ziel zu bestimmen.
• Datensatz-Ebene (Global-Statistik-basiert): Kontextualisiert Merkmalswerte gegenüber globalen Statistiken (z. B. Vergleich eines Wertes mit Klassenmittelwerten oder Perzentilen), um die Erklärung in makroökonomischer Evidenz zu verankern.
• Vergleichs-Ebene (Ähnliche Fälle): Nutzt abgerufene Nachbarn, um Kombinationen von Merkmalen und kritische Abweichungen zu extrahieren, die in <Patterns> und <Deviations> Blöcken zusammengefasst werden, um die Vorhersagen gegen lokale kontrastive Evidenz zu validieren.

2.3 Distillation und Deployment

Der Teacher generiert einen strukturierten Rationale-Bericht, der das Ground-Truth-Label rechtfertigt. Ein kompaktes Student-Modell wird dann (mittels LoRA) auf diesem destillierten Korpus feinabgestimmt. Entscheidend ist, dass das Student-Modell während des Deployments nur die rohen serialisierten Merkmale erhält (keine externen Statistiken oder Retrieval). Das Modell ist darauf trainiert, das Wissen der Datensatz-Ebene und der Fall-Ebene zu internalisieren, was eine effiziente Inference ohne externes Retrieval oder statistische Nachschläge ermöglicht, während die Fähigkeit zur Generierung der Tri-Level-Rationale erhalten bleibt.

3. Zentrale Beiträge

• Tri-Level Evidence zu Rationales: Die Arbeit führt ein strukturiertes Schema ein, das ein Teacher-Modell anleitet, Rationales zu synthetisieren, die auf Instanz-Merkmalen, Datensatz-Statistiken und Vergleichs-Nachbarn basieren. Dies formalisiert, wie man rohe tabellarische Daten in evidenzreiche Supervision transformiert.
• Context-to-Parameter Distillation: TLRD schlägt eine Distillationsmethode vor, bei der Datensatz-Statistiken und abgerufene Nachbarn nur während der Korpus-Konstruktion verwendet werden. Dies injiziert indirekt datenspezifisches Wissen in die Parameter des Studenten, was eine effiziente, eigenständige Inference ohne externes Retrieval oder statistische Nachschläge ermöglicht.
• Umfassende empirische Evaluierung: Das Framework wird über sechs diverse Datensätze (Klassifikation und Regression) evaluiert. Die Ergebnisse zeigen, dass TLRD die Lücke zwischen LLMs und State-of-the-Art Tree-Ensembles signifikant schließt und gleichzeitig fundierte, lesbare Erklärungen liefert.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Datensätzen wie ADULT, HOME CREDIT, OKCUPID, DIABETES130US, CALIFORNIA und DIAMONDS durchgeführt, unter Verwendung verschiedener Student-Backbones (Llama 3.1-8B, Qwen3-8B, Gemma 3-12B) und Teacher-Modelle (GPT-OSS-20B/120B, Qwen3-Next-80B).

• Performance vs. Baselines: TLRD übertrifft Zero-Shot und Few-Shot LLM-Baselines signifikant. Bei Klassifikationsaufgaben erreichen TLRD-Varianten eine konkurrenzfähige Performance gegenüber starken Nicht-LLM-Baselines wie XGBoost, CatBoost und TabPFN. Beispielsweise erreichte TLRD (Gemma 3-12B) beim OKCUPID-Datensatz eine Macro-F1 von 56,1, womit es TabPFN v2.5 (55,9) übertraf und sich CatBoost (58,9) annäherte.
• Rationale Grounding: Die qualitative Analyse (Abbildung 3) zeigt, dass Standard-Distillation oft flüssige, aber generische Erklärungen basierend auf Common-Sense-Annahmen produziert. Im Gegensatz dazu generiert TLRD Erklärungen, die spezifische Datensatz-Statistiken zitieren (z. B. „77,8 % Ausfälle vs. 70,4 % Nicht-Ausfälle“) und Abweichungen von ähnlichen Fällen identifizieren, was eine fundiertere Entscheidungsunterstützung bietet.
• Ablationsstudien: Das Entfernen entweder der Datensatz-Statistiken oder des Vergleichs-Level-Retrievals verschlechtert die Performance, was die komplementäre Natur der Tri-Level-Evidenz bestätigt. Zudem übertrifft TLRD die Standard-Distillation und die „Evidence-Augmented Distillation“ (bei der der Teacher zwar Evidenz sieht, aber kein strukturiertes Schema besitzt), was die Bedeutung des Schemas für die Generierung hochwertiger Supervision hervorhebt.
• Skalierbarkeit: Das Framework ist selbst mit kleineren Student-Modellen (z. B. 4 Milliarden Parameter), die von mittelgroßen Teachern supervidiert werden, effektiv, was auf einen praktischen Weg für ressourcenbeschränkte Deployments hindeutet.

5. Bedeutung und Limitationen

Bedeutung:
TLRD bietet einen praktischen Kompromiss zwischen der hohen Vorhersageleistung von baumbasierten Ensembles und der Interpretierbarkeit von LLMs. Durch die Destillation datenspezifischer Denkprozesse in ein Student-Modell ermöglicht es transparente, fallspezifische Entscheidungsunterstützung ohne die Latenz externer Abrufe oder den Erklärungszusammenbruch, der mit rein label-basierter Feinabstimmung einhergeht. Die Autoren sehen dies als wertvolle Referenz für High-Stakes-Entscheidungen, bei denen sowohl Genauigkeit als auch Erklärbarkeit gefordert sind.

Limitationen:
Die Autoren räumen mehrere Limitationen ein:

• Scheinkorrelationen (Spurious Correlations): Das Student-Modell könnte Scheinkorrelationen oder logische Sprünge vom Teacher erben, selbst wenn der Teacher auf Ground-Truth-Labels konditioniert ist.
• Skalierbarkeit: Der Ansatz stützt sich auf Merkmalsauswahl für hochdimensionale Datensätze und könnte bei Datensätzen mit einer großen Anzahl von Klassen aufgrund von Input-Längenbeschränkungen Schwierigkeiten haben.
• Umfang der Feinabstimmung: Aufgrund rechnerischer Beschränkungen nutzt die Studie LoRA (Parameter-Efficient Fine-Tuning) anstelle von Full-Parameter-Supervised-Fine-Tuning, was die Frage offen lässt, ob eine vollparametrische Anpassung weitere Gewinne bringen würde.
• Inhärente LLM-Risiken: Die Methode erbt allgemeine LLM-Einschränkungen, einschließlich potenzieller Halluzinationen und Sensitivität gegenüber Prompt-Einstellungen. Die Autoren betonen, dass TLRD strikt als Entscheidungsunterstützungswerkzeug eingesetzt werden sollte, nicht als autonomer Entscheidungsträger, und empfehlen strenge Fairness-Audits und menschliche Evaluationen für den realen Einsatz.