Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data

Diese Arbeit stellt einen Ansatz vor, bei dem ein reasoning-fähiger LLM-Agent mittels eines agentic-Setups kleine tabellarische Datensätze in interpretierbare, faire und leichtgewichtige Entscheidungsbäume überführt, die mit state-of-the-art Black-Box-Modellen konkurrieren können.

Das Wesentliche

🌳 Die Idee: Vom „Black Box"-Roboter zum „Redenden Baum"

Stell dir vor, du hast ein riesiges, komplexes Problem zu lösen, zum Beispiel: „Wer bekommt einen Kredit?" oder „Ist dieser Patient krank?".

In der modernen KI-Welt nutzen wir oft riesige, super-intelligente Modelle (die sogenannten „Foundation Models"). Diese sind wie geniale, aber stumme Magier. Sie können die Antworten fast immer richtig vorhersagen, aber:

1. Du weißt nicht, warum sie diese Antwort geben (sie sind eine „Black Box").
2. Sie sind schwerfällig und brauchen viel Rechenleistung, wie ein schwerer Panzer.
3. Du kannst sie nicht einfach bitten: „Hey, sei bitte fairer!" oder „Ignoriere dieses eine Detail!".

Die neue Idee der Autoren:
Statt einen stummen Magier zu nutzen, bauen wir einen intelligenten Handwerker, der einen Baum pflanzt. Aber nicht irgendeinen Baum – einen Entscheidungsbaum.

🤖 Der Handwerker: Ein KI-Assistent mit Werkzeugkasten

Stell dir einen sehr klugen KI-Assistenten vor (ein „Reasoning-LLM", wie GPT-5). Dieser Assistent ist kein Magier, der alles auf einmal aus dem Nichts zaubert. Er ist eher wie ein Gärtner, der einen Baum Schritt für Schritt formt.

Der Gärtner hat einen kleinen Werkzeugkasten mit folgenden Werkzeugen:

• Säge: Um Äste abzuschneiden, die nicht passen.
• Pflanzkelle: Um neue Äste (Entscheidungen) hinzuzufügen.
• Lupe: Um zu prüfen, ob der Baum gesund ist (Daten analysieren).
• Notizblock: Um zu schreiben, was er gerade denkt.

Der Prozess (Der „Agenten-Loop"):

1. Nachdenken: Der KI-Gärtner schaut sich die Daten an und denkt: „Hmm, hier könnte ein Ast besser sein."
2. Handeln: Er nimmt sein Werkzeug (z. B. die Säge) und schneidet den Ast ab oder pflanzt einen neuen.
3. Beobachten: Er prüft: „Hat das funktioniert? Ist die Vorhersage jetzt besser?"
4. Wiederholen: Er macht das immer wieder, bis der Baum perfekt ist.

Das Tolle ist: Der KI-Assistent nutzt dabei sein Vorwissen (z. B. aus Büchern gelerntes Wissen über Diabetes) und kombiniert es mit den neuen Daten, die du ihm gibst.

✨ Warum ist das so cool? (Die Vorteile)

1. Der Baum ist „sichtbar" (Interpretierbarkeit)

Ein riesiger KI-Magier ist wie ein verschlossener Safe. Du weißt nicht, was drin ist.
Unser Entscheidungsbaum ist wie ein Flussdiagramm an der Wand. Du kannst jeden Schritt nachvollziehen:

• „Wenn der Blutzucker hoch ist UND das Alter über 50, dann ist die Wahrscheinlichkeit für Diabetes hoch."
  Jeder Mensch kann diesen Baum lesen und verstehen. Man sieht sofort, ob der Baum „dumm" oder „voreingenommen" ist.

2. Der Baum ist „leichtgewichtig" (Schnell & Günstig)

Der KI-Gärtner arbeitet nur einmal, während des Trainings. Das kostet etwas Zeit und Geld.
Aber sobald der Baum fertig ist? Der Baum läuft allein!
Wenn du später eine Vorhersage machen willst, musst du keinen riesigen KI-Server anwerfen. Du musst nur den Baum durchlaufen (wie ein kleines Quiz). Das ist extrem schnell und kostet fast nichts.

3. Der Baum ist „gehorsam" (Kontrollierbar)

Das ist der spannendste Teil. Du kannst dem KI-Gärtner ganz einfach per Sprache sagen:

• „Achte darauf, dass Frauen und Männer gleich behandelt werden!" (Fairness)
• „Wenn das Einkommen steigt, darf das Risiko nicht sinken!" (Monotonie)
• „Wir haben vergessen, den Blutzucker im Training zu messen, aber wir wissen, dass er wichtig ist. Baue das trotzdem ein!" (Fehlende Daten)

Der Gärtner nimmt diese Anweisungen ernst und passt den Baum daran an. Bei den großen Black-Box-Modellen ist das oft unmöglich oder sehr schwer.

🧪 Was haben die Forscher herausgefunden?

Sie haben getestet, ob dieser „KI-Gärtner" mit seinem Baum so gut ist wie die großen, schweren KI-Modelle.

• Das Ergebnis: Der Baum ist fast genauso gut wie die besten Black-Box-Modelle, aber er ist viel verständlicher und leichter zu steuern.
• Der Clou: Wenn der Baum mit einem Black-Box-Modell zusammenarbeitet (der Baum korrigiert die Fehler des Magiers), wird das Ergebnis noch besser.

🚀 Fazit für den Alltag

Stell dir vor, du bist ein Arzt oder ein Banker. Du brauchst eine Entscheidungshilfe.

• Früher: Du hast einen Black-Box-Computer benutzt. Er sagte: „Kredit ablehnen." Du hast keine Ahnung warum, und du konntest nicht sagen: „Aber mein Kunde ist eigentlich sehr zuverlässig!"
• Mit „Talking Trees": Du nutzt den KI-Gärtner. Er baut dir einen Baum. Du siehst: „Der Computer lehnt ab, weil das Alter und die Schulden zu hoch sind." Du sagst: „Okay, aber sei fairer bei der Altersgruppe." Der Gärtner baut den Baum neu. Jetzt ist die Entscheidung fair, schnell, billig und du verstehst jeden Schritt.

Die Forscher nennen das „Talking Trees", weil dieser Baum nicht nur eine Antwort gibt, sondern quasi „erzählt", wie er zu dieser Antwort gekommen ist – und zwar so, dass wir Menschen ihn verstehen können.

Technische Zusammenfassung

1. Problemstellung

Tabellare Vorhersageprobleme werden oft mit kleinen Datensätzen gelöst, bei denen klassische maschinelle Lernmodelle an ihre Grenzen stoßen. Zwar haben sich „Tabular Foundation Models" (wie TabPFN oder TabLLM) durch Vorab-Training auf großen Datenmengen als sehr leistungsfähig erwiesen, doch sie leiden unter zwei wesentlichen Nachteilen:

1. Black-Box-Charakter: Die Entscheidungsregeln sind in Gewichten und Inferenzprozessen implizit, was Interpretierbarkeit und Verifizierbarkeit einschränkt.
2. Hohe Inferenzkosten: Diese Modelle erfordern oft erhebliche Rechenleistung und Speicher pro Vorhersage, was den Einsatz in ressourcenbeschränkten Umgebungen erschwert.

Zudem fehlt es oft an der Möglichkeit, domänenspezifisches Wissen (z. B. Fairness-Constraints, Monotonie oder fehlende Features bei der Deployment-Zeit) direkt in das Modell zu integrieren, ohne es neu zu trainieren oder komplexe mathematische Formulierungen zu verwenden.

2. Methodik: Agentic Tree Induction

Die Autoren schlagen einen alternativen Ansatz vor, der Reasoning-fähige Large Language Models (LLMs) als „Agenten" nutzt, um selbstständige Entscheidungsbäume (Decision Trees) zu konstruieren. Der Kern der Methode ist ein Thought-Action-Observation-Zyklus:

• Agenter Loop: Das LLM generiert nicht den gesamten Baum auf einmal, sondern verbessert ihn schrittweise in kleinen Inkrementen.
• Tool-Augmentation: Das LLM erhält Zugriff auf eine spezialisierte, minimalistische Python-Bibliothek („Tree Editing Framework"). Diese Tools ermöglichen:
  • View Tree: Visualisierung der Baumstruktur.
  • Prune Subtree: Umwandlung von Knoten in Blätter (Beschneiden).
  • Select Data: Auswahl von Datenpunkten, die einen bestimmten Knoten passieren.
  • Graft Subtree: Ersetzen eines Knotens durch einen neuen (manuell erstellten oder gelernten) Unterbaum.
  • Train Subtree: Lokales Training von Teilbäumen auf Teilmengen der Daten.
• Prozess: Der Agent nutzt diese Tools, um Hypothesen zu testen, Fehler zu korrigieren und den Baum basierend auf den Daten und den vom Benutzer im Prompt spezifizierten Constraints zu verfeinern.
• Inferenz: Sobald der Baum konstruiert ist, ist die Inferenz extrem kostengünstig und erfordert keine weiteren LLM-Aufrufe; sie reduziert sich auf eine einfache Sequenz von Feature-Vergleichen (wie bei einem Standard-Entscheidungsbaum).

3. Wichtige Beiträge

1. Trainingszeit-Prozedur: Einführung eines Verfahrens, bei dem ein LLM-Agent mit einem kleinen Toolset Entscheidungsbäume für tabulare Aufgaben konstruiert, verifiziert und verfeinert. Das Ergebnis ist ein eigenständiges Modell mit leichter Inferenz.
2. Interpretierbarkeit und Kontrolle: Die Methode liefert einen expliziten Konstruktionsverlauf (Reihenfolge der Tool-Aufrufe und Zwischenschritte), der zur Fehlerdiagnose und Überprüfung auf Verzerrungen (Bias) genutzt werden kann. Zudem können Constraints (Fairness, Monotonie, fehlende Features) informell über den Prompt gesteuert werden.
3. Leistungsfähigkeit: Die Arbeit zeigt, dass so konstruierte Bäume mit State-of-the-Art-Black-Box-Modellen konkurrieren können, insbesondere in Low-Resource-Szenarien.
4. Open Source: Veröffentlichung von Evaluierungscode und Benchmark-Utilities.

4. Ergebnisse

Die Evaluation erfolgte auf 17 Low-Resource-Datensätzen (OpenML TabArena v0.1) mit bis zu 2500 Samples (Klassifikation und Regression).

• Vergleich mit Baselines: Die agentic konstruierten Bäume übertreffen sowohl Standard- als auch optimierte CART-Bäume (Scikit-Learn) auf fast allen Datensätzen.
• Vergleich mit Foundation Models: Zwar schneiden Black-Box-Modelle wie XGBoost, TabM oder TabPFN v2 in der reinen Vorhersageleistung oft noch besser ab, aber die LLM-induzierten Bäume schließen die Lücke signifikant.
• Kombinierte Ansätze: Wenn die agentic Bäume verwendet werden, um die Vorhersagen von TabPFN v2 zu korrigieren (zweistufiger Ansatz), wird die Leistung in den meisten Fällen weiter verbessert.
• Ablationsstudien:
  • Der agentic Loop ist entscheidend: Ein einmaliger Zero-Shot-Versuch des LLM ohne Iteration führt zu deutlich schlechteren Ergebnissen.
  • Tools: Der Zugriff auf die spezifischen Baum-Editier-Tools ist essenziell; reine Nutzung von Scikit-Learn-Frameworks durch das LLM führt zu schlechterer Performance.
  • Metadaten: Informelle Beschreibungen der Features verbessern die Leistung, können aber bei falschen Beschreibungen auch schaden.
  • LLM-Backbones: GPT-5 zeigte die beste Leistung, aber auch Open-Source-Modelle (wie Kimi K2, DeepSeek R1) funktionierten im Rahmen des Ansatzes.

5. Signifikanz und Anwendungen

Die Arbeit demonstriert, wie LLMs genutzt werden können, um die Lücke zwischen hoher Leistungsfähigkeit und Interpretierbarkeit zu schließen:

• Steuerbarkeit (Controllability):
  • Fairness: Durch informelle Prompts konnte die Abhängigkeit von geschützten Attributen (z. B. Geschlecht im Adult-Datensatz) reduziert werden, was zu besseren Fairness-Metriken (Statistical Parity, Equal Opportunity) führte, oft ohne massive Einbußen bei der Genauigkeit.
  • Fehlende Features: Das Modell konnte erfolgreich ein Feature (z. B. Glukose-Werte bei Diabetes) in die Baumlogik integrieren, das im Training nicht vorhanden war, aber im Deployment verfügbar sein wird, indem es auf Vorwissen des LLM zurückgriff.
  • Monotonie: Es konnte erreicht werden, dass die Vorhersagen bestimmte domänenspezifische Monotonie-Constraints einhalten (z. B. höheres Einkommen führt nicht zu niedrigerer Kreditwürdigkeit), obwohl dies nicht formal garantiert, aber stark gefördert wurde.
• Sicherheit und Datenschutz: Da die Inferenz ohne LLM stattfindet, entfallen laufende Kosten und Datenschutzrisiken bei der Vorhersage. Das Training kann lokal oder in isolierten Umgebungen (Air-gapping) erfolgen.
• Demokratisierung: Der Ansatz ermöglicht Domänenexperten ohne tiefe ML-Kenntnisse, durch natürliche Sprache Modelle zu steuern, die spezifische Geschäftsregeln oder ethische Anforderungen erfüllen.

Fazit: „Talking Trees" bietet einen vielversprechenden Weg, um die Vorteile von Foundation Models (Vorwissen, Leistung) mit den Vorteilen klassischer Entscheidungsbäume (Interpretierbarkeit, geringe Inferenzkosten, Steuerbarkeit) zu kombinieren.