Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data

Deze paper introduceert een agentische aanpak waarbij redenerende LLM's gebruikmaken van een set hulpmiddelen om interpretabele, lichtgewicht beslissingsbomen te genereren voor tabulaire data, die concurreren met zwarte-doosmodellen terwijl ze tegelijkertijd menselijke controle en het naleven van beperkingen zoals eerlijkheid mogelijk maken.

De kern

Stel je voor dat je een zeer slimme, maar soms wat ondoorzichtige "supercomputer" hebt. Deze computer kan uitstekende voorspellingen doen op basis van tabellen met gegevens (zoals: "zal deze klant een lening krijgen?"). Maar er zit een probleem: niemand weet precies hoe hij tot zijn conclusies komt. Het is een "zwarte doos". Als je vraagt "Waarom?", zegt hij alleen: "Omdat mijn berekeningen zeggen dat het zo is." Dat is lastig als je in het ziekenhuis of bij een bank werkt, waar je moet kunnen uitleggen waarom je een beslissing neemt.

De auteurs van dit paper, "Talking Trees", hebben een slim alternatief bedacht. In plaats van die zwarte doos te gebruiken, laten ze die supercomputer (een zogenaamde LLM of AI) een beslissingsboom bouwen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Supercomputer als Bouwmeester (De Agent)

In plaats van dat de AI het antwoord direct uitkraamt, laten we haar werken als een bouwmeester met een gereedschapskist.

• De Taak: De AI moet een boom tekenen die beslissingen neemt. Bijvoorbeeld: "Is het gewicht > 80kg? Ja -> Ga naar tak A. Nee -> Ga naar tak B."
• De Gereedschapskist: De AI krijgt een setje digitale tools. Ze kan:
  • De boom bekijken (kijken of de takken logisch zijn).
  • Takken weghalen (als ze niet nodig zijn).
  • Nieuwe takken toevoegen (om de boom slimmer te maken).
  • Kijken welke gegevens in welke tak terechtkomen.

2. Het Bouwproces: Probeer, Denk, Verbeter

De AI doet dit niet in één keer. Het is een denk-actie-cyclus, net als wanneer jij een puzzel probeert op te lossen:

1. Denken: "Ik denk dat we hier een nieuwe tak moeten maken op basis van leeftijd."
2. Actie: De AI gebruikt haar tools om die tak daadwerkelijk toe te voegen aan de boom.
3. Kijken: "Hoe werkt dat? Werkt het beter? Of maakt het het juist slechter?"
4. Herhalen: Als het niet werkt, haalt ze de tak weer weg en probeert ze iets anders.

Dit proces gaat door totdat de boom zo goed mogelijk is. Het mooie is: de AI kan ook kennis van buitenaf gebruiken. Als jij zegt: "Weet je, in de echte wereld is 'glucose' heel belangrijk voor diabetes, maar die data hebben we niet," dan kan de AI die kennis gebruiken om de boom slimmer te maken, zelfs zonder die specifieke cijfers in de training.

3. Waarom is dit zo geweldig?

Hier zijn de drie grote voordelen, vergeleken met de oude "zwarte doos" modellen:

• Het is een open boek (Doorzichtigheid):
  Een beslissingsboom is als een stroomdiagram of een "Als-Dan" lijstje. Iedereen kan het lezen. Je kunt precies zien: "Ah, de AI weigert de lening omdat de inkomen te laag is én de leeftijd te jong." Geen mysterie meer. Je kunt ook controleren of er vooroordelen in zitten.

• Het is goedkoop en snel (Lichtgewicht):
  De dure supercomputer wordt alleen gebruikt tijdens het bouwen van de boom. Zodra de boom klaar is, is de AI weg. Om een voorspelling te doen, hoef je alleen maar de boom af te lopen. Dat kost een fractie van de tijd en energie. Het is alsof je een dure architect aanhuurt om een huis te tekenen, maar daarna alleen maar de sleutel nodig hebt om binnen te lopen.

• Je hebt de controle (Stuurbaarheid):
  Omdat je met de AI praat (via een prompt), kun je regels geven die moeilijk te programmeren zijn.

  • Voorbeeld Fairness: "Zorg dat je niet discrimineert op basis van geslacht." De AI past de boom dan aan zodat mannen en vrouwen eerlijk behandeld worden.
  • Voorbeeld Logica: "Hoe meer risico, hoe hoger de kans op afkeuring." De AI zorgt dat de boom zich aan deze regel houdt.

Samenvattend

Stel je voor dat je in plaats van een magische, onbegrijpelijke kristallen bol (de oude AI-modellen), een slimme tuinman krijgt. Deze tuinman plant een boom. Hij kijkt naar de grond (de data), luistert naar jouw wensen (zoals "geen vooroordelen" of "gebruik deze nieuwe regel"), en knipt en plakt takken totdat de boom perfect staat.

Het resultaat is een model dat bijna net zo goed presteert als de zware, dure modellen, maar dat:

1. Iedereen begrijpt.
2. Snel en goedkoop werkt.
3. Je kunt sturen met gewoon taalgebruik.

Deze "Talkende Bomen" maken machine learning dus niet alleen slimmer, maar ook eerlijker en toegankelijker voor iedereen.

Technische samenvatting

Titel: Talking Trees: Redenering-ondersteunde Inductie van Beslissingsbomen voor Tabulaire Data

1. Het Probleem

Tabulaire voorspellingsproblemen worden vaak geconfronteerd met beperkte datasets (low-resource scenarios). Hoewel recente "foundation models" voor tabulaire data (zoals TabPFN of TabLLM) uitstekende prestaties leveren door vooraf te trainen op grote datasets, hebben ze twee belangrijke nadelen:

• Black-box aard: Hun beslissingsregels zijn impliciet opgeslagen in gewichten, wat interpretatie en verifiëring bemoeilijkt.
• Hoge inferentiekosten: Ze vereisen zware rekenkracht en geheugen per voorspelling, wat duur en traag is in productie.

Bestaande methoden die Large Language Models (LLMs) gebruiken, zijn vaak beperkt tot feature engineering of fungeren als "boosters" die de black-box aard behouden. Er is een behoefte aan een methode die zowel lichtgewicht (goedkope inferentie) als controleerbaar is, waarbij menselijke expertise (zoals eerlijkheid of domeinregels) eenvoudig kan worden geïntegreerd.

2. Methodologie: Agente Inductie

De auteurs stellen een nieuwe aanpak voor waarbij een redenerend LLM-agent wordt gebruikt tijdens het trainingsproces om een zelfstandige, interpreteerbare beslissingsboom te construeren. De inferentie zelf gebeurt zonder het LLM, alleen via de gegenereerde boom.

Kerncomponenten:

• Agent Loop: Het proces wordt geformuleerd als een "thought-action-observation" cyclus. Het LLM hypothesen formuleert, uitvoert acties via tools, observeert de resultaten en verfijnt de boom iteratief.
• Toolset (Tree Editing Framework): Het LLM heeft toegang tot een specifieke set Python-tools om bomen te manipuleren:
  • View tree: Visualisatie van de boomstructuur.
  • Prune subtree: Het verwijderen van takken om overfitting te voorkomen.
  • Select data: Het selecteren van data-punten die door een specifieke knoop gaan.
  • Graft subtree: Het vervangen of toevoegen van nieuwe sub-bomen.
  • De agent kan ook standaard bibliotheken gebruiken (Scikit-Learn, Pandas, NumPy) voor data-preprocessing en feature engineering.
• Iteratief Proces: In plaats van één keer een boom te genereren, bouwt de agent deze stap voor stap op, test hypotheses tegen de data en corrigeert fouten. Dit maximaliseert het gebruik van "Chain-of-Thought" redenering.
• Controleerbaarheid: De gebruiker kan via de prompt (natuurlijke taal) specifieke constraints opleggen, zoals eerlijkheid (fairness), monotonie (bijv. "hogere risico's moeten leiden tot hogere voorspellingen") of het gebruik van features die pas bij implementatie beschikbaar zijn.

3. Belangrijkste Bijdragen

1. Nieuwe Training-Procedure: Een methode die een redenerend LLM combineert met een kleine toolkit om beslissingsbomen te bouwen, verifiëren en verfijnen, resulterend in een lichtgewicht model.
2. Prestaties vs. Interpretatie: Het aantonen dat door tools verrijkte LLM's bomen kunnen construeren die concurreren met state-of-the-art black-box modellen op low-resource benchmarks, terwijl ze volledig interpreteerbaar blijven.
3. Flexibele Controle: Het vermogen om willekeurige, informele constraints (zoals eerlijkheid of domeinregels) via prompts op te leggen, wat moeilijk is voor traditionele algoritmen.
4. Open Source: De release van evaluatiecode en benchmarking utilities om toekomstige vergelijkingen te faciliteren.

4. Resultaten

De methode is geëvalueerd op 17 low-resource tabulaire datasets (OpenML/TabArena) voor classificatie en regressie.

• Prestaties:
  • De door de agent gegenereerde bomen presteren significant beter dan standaard en zelfs getune CART-bomen.
  • Ze sluiten de kloof met geavanceerde black-box modellen (zoals XGBoost, TabM en TabPFN) aanzienlijk in.
  • Een variant waarbij de agent een beslissingsboom gebruikt om de voorspellingen van TabPFN te corrigeren, levert vaak de beste resultaten op.
• Ablatiestudies:
  • Het verwijderen van de agent-loop (zero-shot één keer proberen) leidt tot een sterke prestatiedaling, wat aantoont dat de iteratieve redenering cruciaal is.
  • Het beperken van de agent tot alleen boom-editing (zonder data-analyse-tools) werkt minder goed; de combinatie van data-analyse en boommanipulatie is essentieel.
  • Verschillende LLM-backbones (GPT-5, Claude, DeepSeek, etc.) werken, waarbij GPT-5 en Claude Opus 4.5 de beste resultaten laten zien.
• Controleerbaarheid:
  • Eerlijkheid (Fairness): Door een prompt aan te passen, kon de agent de bias op basis van geslacht in het Adult-dataset aanzienlijk verminderen (lagere Statistical Parity Difference) met slechts een kleine afname in nauwkeurigheid.
  • Ontbrekende Features: De agent kon succesvol een beslissingsboom bouwen die gebruikmaakt van een feature (Glucose) die alleen tijdens de inferentie beschikbaar is, door gebruik te maken van zijn voorkennis via de prompt.
  • Monotonie: De agent kon worden gestuurd om monotonische relaties te respecteren, hoewel dit niet altijd perfect gegarandeerd is zonder specifieke algoritmische constraints.
• Veiligheid: Tests met "data leaks" (waarbij de trainingsdata-waarden worden geschud maar de datasetnaam behouden blijft) tonen aan dat de agent niet "cheat" door memorisatie van benchmarks, maar echt leert van de gegeven signalen.

5. Betekenis en Impact

• Democratisering van ML: Deze aanpak stelt domeinexperts in staat om modellen te bouwen en te sturen via natuurlijke taal, zonder diepgaande ML-expertise.
• Transparantie en Governance: In sectoren met hoge risico's (zoals gezondheid of financiën) biedt de expliciete constructietrace (de reeks tool-aanroepen en tussenstappen) een praktische manier om fouten, bias of data-lekken te diagnosticeren, wat bij black-box modellen ontbreekt.
• Efficiëntie: Het model is extreem goedkoop in gebruik (inferentie), omdat het LLM alleen tijdens het trainen wordt gebruikt. De uiteindelijke voorspelling is een simpele reeks feature-vergelijkingen.
• Toekomstperspectief: Het paper opent de weg voor hybride systemen waarbij menselijke intuïtie en domeinkennis naadloos worden geïntegreerd in machine learning pipelines, en suggereert dat de rol van de mens verschuift van "modelbouwer" naar "modelstuurder".

Kortom, "Talking Trees" bewijst dat LLM's niet alleen als voorspellers kunnen dienen, maar als krachtige, redenerende architecten die interpreteerbare, controleerbare en hoogpresterende modellen kunnen bouwen voor complexe tabulaire taken.