ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning

Dit paper introduceert ASDA, een trainingsvrij kader dat door middel van iteratief leerproces gestructureerde vaardigheidsartefacten genereert om grote taalmodellen zonder gewichts-aanpassing effectief te laten aanpassen aan complexe financiële redeneertaken, wat aanzienlijk betere resultaten oplevert dan bestaande methoden.

De kern

ASDA: De Slimme "Stuurman" voor Financiële AI

Stel je voor dat je een zeer intelligente, maar nogal onervaren stuurman (een AI-model) hebt die een schip moet varen door de complexe wateren van de financiële wereld. Hij kent de theorie uit zijn hoofd, maar als hij een echte, moeilijke vraag krijgt over obligaties of derivaten, maakt hij vaak dezelfde fouten.

Normaal gesproken zou je de stuurman moeten opnieuw opleiden (fine-tuning). Dat is echter duur, tijdrovend, en als je later een nieuw, slimmer schip koopt, moet je de hele opleiding opnieuw doen. Bovendien heb je bij veel commerciële AI's geen toegang tot de "hersenen" van het model om ze aan te passen.

De onderzoekers van de Universiteit van Hongkong hebben een slimme oplossing bedacht: ASDA.

Wat is ASDA? (De Creatieve Analogie)

In plaats van de stuurman opnieuw te laten studeren, geven ze hem een specifiek handboek met "vaarregels".

1. De Foutanalyse (De Leraar):
   Een slimmere AI (de "Leraar") kijkt naar de fouten die de stuurman maakt. In plaats van te zeggen "Je bent dom", zegt hij: "Ah, je maakt altijd dezelfde fout bij het berekenen van rentes. Je vergeet dat je de rentes moet optellen in een specifieke volgorde."

2. Het Handboek (De Vaardigheden):
   De Leraar schrijft deze correcties op in een duidelijk, gestructureerd handboek (de "skill files"). Dit zijn geen saaie zinnen, maar echte instructies met voorbeelden, code en stappenplannen.

   • Voorbeeld: "Als je een obligatieprijs moet berekenen, doe dan stap 1, 2 en 3. Pas op voor deze valkuil!"

3. Het Injiceren (De Stuurman aan het werk):
   Wanneer de stuurman een nieuwe vraag krijgt, kijkt hij eerst in zijn handboek. De juiste pagina wordt automatisch opgezocht en aan zijn vraag toegevoegd. Hij leest de instructie, doet het correct, en geeft het antwoord.

Waarom is dit zo speciaal?

• Geen hersenoperatie nodig: Je hoeft het model zelf niet aan te passen. Het blijft precies hetzelfde, maar hij krijgt wel een "knooppunt" met de juiste kennis.
• Zelflerend: Het systeem kan zelfs werken zonder een super-slimme leraar. De AI kan zijn eigen fouten analyseren en zijn eigen handboek schrijven! Het paper toont aan dat een AI 73% van de winst al haalt door alleen naar zijn eigen fouten te kijken.
• Veilig en controleerbaar: Omdat het handboek uit losse bestanden bestaat, kunnen mensen (experts) het lezen, controleren en goedkeuren. Als de AI een fout maakt, kun je zien welke regel in het handboek het probleem was en die aanpassen.

De Resultaten in het Kort

De onderzoekers testten dit op een moeilijke financiële test (FAMMA).

• Voor rekenvragen: De AI werd 17% beter. Dat is een enorme sprong!
• Voor niet-rekenvragen: De AI werd 6% beter.

Het is alsof je een student die 40% haalt, met een goed handboek in de hand, plotseling 58% laat halen, zonder dat hij ooit een nieuwe les heeft gevolgd.

De Grootste Les: "Maatwerk" is Koning

Een verrassend resultaat was dat je dit handboek niet zomaar kunt kopiëren naar een andere AI.

• Als je het handboek van een "zwakkere" AI geeft aan een "slimmere" AI, gaat de slimme AI juist slechter presteren.
• Waarom? Omdat de regels zijn gemaakt om de specifieke blindvlekken van de zwakkere AI te dichten. De slimme AI heeft die blindvlekken niet, en de regels verwarren hem alleen maar.

Conclusie:
ASDA is als het geven van een op maat gemaakte navigatie-app aan een schipper. Je hoeft het schip niet te verbouwen, maar door de juiste, gestructureerde regels op het juiste moment te tonen, wordt de reis veel veiliger en succesvoller. Het is een goedkope, snelle en controleerbare manier om AI's slim te maken voor specifieke vakgebieden zoals financiën.

Technische samenvatting

Titel: ASDA: Geautomatiseerde Vaardigheidsdistillatie en Adaptatie voor Financieel Redeneren

Auteurs: Tik Yu Yim, Wenting Tan, Sum Yee Chan, Tak-Wah Lam, en Siu Ming Yiu (Universiteit van Hongkong)

---

1. Het Probleem

Grote Taalmodellen (LLMs) worstelen met financieel redeneren omdat deze taken twee complexe vaardigheden vereisen: meervoudige kwantitatieve berekeningen en diepgaande domeinspecifieke oordeelsvorming. Bestaande oplossingen hebben twee grote nadelen:

• Fine-tuning: Het aanpassen van modellen op specifieke financiële data is duur, vereist toegang tot modelgewichten (wat vaak ontbreekt bij black-box API's) en leidt tot "model-locked" expertise die verouderd raakt bij elke nieuwe modelrelease.
• Training-vrije methoden (Prompt-optimalisatie): Bestaande methoden zoals GEPA en ACE optimaliseren vlakke tekststrings (monolithische instructies). Deze zijn te ongestructureerd om complexe, meervoudige redeneerstappen in verschillende financiële subdomeinen effectief te ondersteunen, wat resulteert in slechts marginale prestatieverbeteringen.

Er is een behoefte aan een methode die geen gewichtsupdates vereist, trainingsvrij is, maar wel gestructureerde, uitvoerbare kennis kan injecteren om modelfouten te corrigeren.

2. Methodologie: Het ASDA Framework

ASDA (Automated Skill Distillation and Adaptation) is een raamwerk dat automatisch uitvoerbare "agent skills" genereert op basis van foutanalyse, zonder de modelgewichten aan te passen. Het werkt volgens een Teacher-Student architectuur en bestaat uit drie hoofdfasen:

A. Warm-up Fase (Initiële Vaardigheidsdistillatie)

1. Foutanalyse: Een "Teacher-model" (een krachtiger LLM) analyseert de fouten van het "Student-model" op een trainingsset. Voor elke fout ontvangt de teacher de vraag, het verkeerde antwoord, de redeneertrace en het juiste antwoord.
2. Structurering: De teacher classificeert fouten in een vooraf gedefinieerd taxonomie van 10 fouttypen (bijv. "verkeerde methodeselectie", "conceptverwarring") en groepeert ze per financieel subdomein (bijv. vastrentende waarden, derivaten).
3. Generatie van Skill Files: Voor elke cluster (subdomein + fouttype) wordt een gestructureerd Skill File gegenereerd. Dit bestand bevat:
   • Een beschrijving van de kennislacune.
   • Condities voor gebruik ("Wanneer te gebruiken").
   • Stap-voor-stap redeneerprocedures.
   • Werkvoorbeelden en code-sjablonen (vaak in Python).
   • Veelgemaakte fouten om te vermijden.
   • Opmerking: Deze bestanden zijn compatibel met de "Agent Skills" open standaard.

B. Inference (Toepassing)

Tijdens het beantwoorden van een nieuwe vraag leest een LLM-based Selector de vraag en de navigatie-index (SKILL.md). De selector identificeert het relevante subdomein en injecteert de bijbehorende skill files in de prompt van het student-model als context. Dit leidt het model naar de juiste redeneerprocedure.

C. Iteratieve Verfijning (Dual-Phase Refinement)

Om de initiële skills te verbeteren, doorloopt ASDA een iteratief proces met twee fasen:

1. Coverage Phase (Dekking): Identificeert vragen die nog steeds fout zijn (Q_gap). De teacher analyseert waarom de huidige skills niet werken en stelt nieuwe of aangepaste patronen voor om deze gaten te dichten.
2. Safety Phase (Veiligheid): Identificeert regressies (Q_minus), waarbij vragen die eerder correct waren, nu fout gaan door de nieuwe skills. De teacher verfijnt de skills om deze regressies te corrigeren zonder de correcte antwoorden te beschadigen.

• Elke update wordt gevalideerd door het student-model; alleen updates die een vooraf bepaalde nauwkeurigheidsdrempel halen, worden geaccepteerd.

3. Belangrijkste Bijdragen

1. Eerste Training-vrije Vaardigheidsdistillatie: ASDA is het eerste systeem dat automatisch uitvoerbare agent skills genereert voor domeinspecifiek redeneren uitsluitend via black-box LLM-toegang, zonder gradiënten of gewichtsupdates.
2. Zelflerende Adaptatie (Self-Teaching): Het framework kan werken zonder een superieur teacher-model. Een model kan zijn eigen fouten analyseren en skills genereren. Experimenten tonen aan dat dit 73% van de totale prestatiewinst haalt vergeleken met het gebruik van een sterkere teacher, wat het zeer praktisch maakt voor organisaties zonder toegang tot duurdere modellen.
3. Auditabele en Versiecontroleerbare Kennislaag: De gegenereerde skills zijn menselijk leesbare Markdown-bestanden met code. Dit biedt een audittrail en maakt het mogelijk om kennis te beheren, te versiebeheren en te regenereren bij model-upgrades, wat cruciaal is voor gereguleerde sectoren.

4. Resultaten

De methode is geëvalueerd op de FAMMA-benchmark (Financial Reasoning Benchmark), gesplitst in rekenkundige (arithmetic) en niet-rekenkundige (non-arithmetic) taken.

• Prestatieverbetering:
  • Voor het student-model Haiku 3.5 behaalde ASDA een verbetering van +17,33 procentpunten op rekenkundige taken en +5,95 procentpunten op niet-rekenkundige taken (na iteratieve verfijning).
  • Dit presteert aanzienlijk beter dan de state-of-the-art training-vrije baselines GEPA en ACE, die slechts marginale winsten lieten zien.
  • Zelfs voor het sterkere model Haiku 4.5 werd een verbetering van +5,99 pp op rekenkundige taken behaald.
• Zelflerend vs. Teacher-geleid: Zelflerende adaptatie (zonder externe teacher) leverde +6,33 pp op voor rekenkundige taken, wat aantoont dat de meerderheid van de winst komt uit het structureren van de eigen trainingsdata en niet uit de kennis van een extern model.
• Cross-Model Transfer: Skills die zijn gegenereerd voor een zwakker model (Haiku 3.5) werken niet goed op een sterker model (Haiku 4.5) en leiden zelfs tot regressies (-2,33 pp). Dit bevestigt dat skills specifiek zijn voor de foutverdeling van een bepaald model en niet universeel overdraagbaar zijn.

5. Betekenis en Conclusie

ASDA biedt een praktische, kostenefficiënte oplossing voor organisaties die LLM's in gereguleerde sectoren (financieel, juridisch, gezondheidszorg) willen inzetten via black-box API's.

• Kostenefficiëntie: Het distillatieproces kost naar schatting slechts $13 en ongeveer 6 uur verwerkingstijd per configuratie.
• Operationalisering: Het creëert een nieuwe representatielaag tussen het ruwe model en de toepassing. Deze laag is inspecteerbaar door domeinexperts en compliance-teams, wat vertrouwen en transparantie biedt.
• Toekomstperspectief: De methode is veelbelovend voor andere gestructureerde domeinen zoals juridisch en fiscaal redeneren, waar foutpatronen goed te clusteren zijn en auditvereisten hoog zijn.

Kortom, ASDA bewijst dat foutgedreven distillatie latente domeinkennis kan externaliseren naar een expliciete, controleerbare vorm, waardoor modellen beter kunnen presteren zonder dat hun interne gewichten hoeven te worden aangepast.