ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning

Die Arbeit stellt ASDA vor, ein training-freies Framework, das durch automatische Generierung strukturierter Fertigkeiten aus Fehleranalysen die Finanzlogik von Sprachmodellen erheblich verbessert, ohne deren Gewichte anzupassen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas verstreuten Assistenten (ein KI-Modell), der Ihnen bei komplexen Finanzfragen helfen soll. Er weiß viel über die Welt, aber wenn es darum geht, spezifische Finanzrechnungen durchzuführen oder komplexe Konzepte anzuwenden, macht er oft dumme Fehler.

Bisher gab es zwei Wege, ihm zu helfen:

1. Der teure Weg: Man nimmt den Assistenten und lässt ihn monatelang in einer speziellen Finanzschule lernen (Fine-Tuning). Das kostet viel Geld, und wenn die Schule das Lehrbuch ändert, muss man ihn von vorne anfangen lassen.
2. Der einfache, aber unzureichende Weg: Man schreibt ihm einen langen, detaillierten Zettel mit Anweisungen („Bitte sei vorsichtig bei Zinsen..."). Das hilft ein bisschen, aber bei komplexen Aufgaben reicht ein einziger, riesiger Zettel oft nicht aus, weil er zu unstrukturiert ist.

Die Forscher aus Hongkong haben nun eine dritte, clevere Methode namens ASDA entwickelt. Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Der Lehrer und der Schüler (Die Idee hinter ASDA)

Stellen Sie sich vor, Sie haben einen Schüler (das KI-Modell), der bei einer Mathearbeit viele Fehler macht.

• Der alte Weg: Der Lehrer korrigiert die Arbeit und sagt einfach: „Mach es besser."
• Der ASDA-Weg: Der Lehrer (eine stärkere KI) schaut sich genau an, warum der Schüler bei Aufgabe A, B und C gescheitert ist. Er merkt: „Aha, der Schüler verwechselt immer, wie man Zinsen über mehrere Jahre berechnet."

Anstatt den Schüler neu zu programmieren (was bei KI-Modellen oft nicht möglich ist, da sie wie eine „Blackbox" funktionieren), erstellt der Lehrer kleine, handliche Lernkarten (Skill-Artefakte).

2. Die Lernkarten statt der riesigen Anleitung

Statt einem 50-seitigen Buch schreibt der Lehrer für jeden spezifischen Fehler eine kleine Karte:

• Titel: „Wie man Anleihenpreise berechnet."
• Fehler: „Vergessen, dass Zinsen sich aufeinander aufbauen."
• Lösung: Eine klare Schritt-für-Schritt-Anleitung und ein Beispielcode.

Diese Karten sind wie Rezeptkarten für einen Koch. Wenn der Koch (die KI) ein Steak brät, braucht er nicht das ganze Kochbuch zu lesen. Er nimmt nur die Karte „Steak braten" zur Hand. Wenn er einen Kuchen backt, nimmt er die Karte „Kuchen backen".

3. Der Prozess: Lernen aus Fehlern

ASDA läuft in zwei Phasen ab, wie ein Trainingssportler:

• Phase 1: Das Warm-up (Die erste Analyse)
  Das System schaut sich alle Fehler des Schülers an. Es sortiert sie in Schubladen: „Fehler bei Aktien", „Fehler bei Zinsen", „Fehler bei Währungsumrechnung". Für jede Schubladenart wird eine perfekte Anleitung (Skill) erstellt. Diese werden in den „Gedächtnis-Schrank" der KI gelegt.

• Phase 2: Das Fein-Tuning (Iterative Verbesserung)
  Jetzt testet man den Schüler mit den neuen Karten.

  • Funktioniert es besser? Super!
  • Macht er jetzt Fehler bei Aufgaben, die er vorher richtig konnte? (Das passiert, wenn eine Karte zu streng ist).
    Dann passt der Lehrer die Karte an. Er sagt: „Okay, diese Regel gilt nur für große Summen, nicht für kleine." So wird die Karte immer präziser, bis sie perfekt funktioniert.

4. Warum ist das so cool? (Die Vorteile)

• Kein Neulernen nötig: Man muss das Gehirn der KI nicht umbauen. Man gibt ihr nur die richtigen Karten zur Hand, wenn sie gefragt wird.
• Schnell und günstig: Es kostet fast nichts (ca. 13 Dollar und 6 Stunden Rechenzeit), um diese Karten für eine Firma zu erstellen.
• Überprüfbar: Da die Karten in normaler Sprache geschrieben sind, kann ein menschlicher Finanzexperte sie lesen und prüfen: „Ja, das ist korrekt." Man kann sie versionieren (wie bei Software-Updates).
• Selbstlernend: Das Tolle ist: Man braucht keinen überlegenen Lehrer. Die KI kann sich ihre eigenen Fehlerkarten erstellen („Selbst-Teaching"). Sie analysiert ihre eigenen Fehler und schreibt die Lösungen selbst auf.

5. Ein wichtiges Detail: Die Karten sind maßgeschneidert

Die Forscher haben herausgefunden, dass die Karten, die für einen schwächeren KI-Modell erstellt wurden, einem stärkeren Modell sogar schaden können.

• Vergleich: Es ist wie ein Anfänger-Lehrbuch für einen Profi. Wenn Sie einem Mathematik-Professor ein Buch geben, das ihm erklärt, wie man 1+1 rechnet, wird er verwirrt und macht Fehler.
• Fazit: Jede KI braucht ihre eigenen, maßgeschneiderten Fehlerkarten. Aber das ist kein Problem, denn das Erstellen dieser Karten ist so günstig, dass man es einfach für jedes neue Modell macht.

Zusammenfassung in einem Satz

ASDA ist wie ein intelligenter Tutor, der nicht das Gehirn des Schülers umbaut, sondern ihm genau die richtigen Notizzettel in die Hand drückt, damit er seine spezifischen Schwachstellen in Finanzfragen überwindet – ohne dass man ihn neu programmieren muss.

Technische Zusammenfassung

1. Problemstellung

Die Anpassung von Large Language Models (LLMs) an spezialisierte Finanzanwendungen stellt eine besondere Herausforderung dar. Finanzlogik erfordert gleichzeitig das Beherrschen mehrstufiger quantitativer Berechnungen und tiefgehender domänenspezifischer Urteilsfähigkeit.

• Grenzen bestehender Ansätze:
  • Fine-Tuning: Ist teuer, erzeugt „model-locked" Expertise (die bei Modell-Updates veraltet) und ist für Black-Box-APIs (ohne Gewichts-Zugriff) nicht anwendbar.
  • Training-Free Prompt-Optimierung: Methoden wie GEPA und ACE optimieren flache Textstrings (monolithische Anweisungen). Die Autoren zeigen, dass diese für komplexe, mehrstufige Finanzreasoning-Aufgaben unzureichend sind und nur marginale Verbesserungen auf dem Benchmark FAMMA erzielen.
• Kernproblem: Es fehlt eine Abstraktionsebene, die über einfache Prompts hinausgeht: eine ausführbare, modulare „Fertigkeit" (Skill), die Fehler analysiert, strukturiert und als wiederverwendbares Artefakt bereitstellt, ohne die Modellgewichte zu ändern.

2. Methodik: ASDA-Framework

ASDA (Automated Skill Distillation and Adaptation) ist ein Framework, das strukturierte Fertigkeiten automatisch aus Fehleranalysen generiert. Es nutzt eine Lehrer-Schüler-Architektur und besteht aus zwei Hauptphasen:

A. Skills Warm-Up (Initialisierung)

1. Fehleranalyse: Ein stärkeres Lehrer-Modell analysiert die Fehler des Schüler-Modells auf einem Trainingsdatensatz.
2. Strukturierte Annotation: Für jede falsche Antwort wird eine strukturierte Annotation erstellt, die das Unterfeld (z. B. „Fixed Income"), den Fehlertyp (z. B. „falsche Methodenwahl") und die Root Cause (tatsächliche Wissenslücke) identifiziert.
3. Clustering & Synthese: Fehler werden nach (Unterfeld, Fehlertyp) gruppiert. Aus jedem Cluster generiert das Lehrer-Modell eine Skill-Datei.
   • Diese Dateien enthalten: Beschreibungen der Wissenslücke, Bedingungen für die Anwendung, schrittweise Reasoning-Prozeduren, Arbeitsbeispiele und Code-Templates (z. B. für Program-of-Thought).
   • Die Struktur ist kompatibel mit dem offenen Standard „Agent Skills" (Markdown mit Routing-Metadaten).
4. Injektion: Zur Inferenzzeit wählt ein Selector basierend auf der Frage die relevanten Skill-Dateien aus und injiziert sie in den Prompt des Schüler-Modells.

B. Dual-Phase Iterative Skill Refinement (Verfeinerung)

Um Lücken und Regressionen zu beheben, durchläuft das System einen iterativen Verfeinerungsprozess:

1. Evidenz-Sammlung: Der Datensatz wird in drei Gruppen unterteilt:
   • $Q^+$: Korrekt mit Skills.
   • $Q^-$: Falsch mit Skills, aber korrekt ohne (Regressionen).
   • $Q_{gap}$: Falsch in beiden Fällen (noch ungedeckte Fehler).
2. Attribution: Es wird ermittelt, welche spezifische Skill-Datei für das Ergebnis einer Frage verantwortlich ist.
3. Coverage Phase (Abdeckung): Für $Q_{gap}$-Fälle schlägt das Lehrer-Modell neue Muster oder Erweiterungen vor, um fehlende Prozeduren abzudecken. Updates werden nur akzeptiert, wenn sie die Genauigkeit auf $Q_{gap}$ über einen Schwellenwert $\tau_{cov}$ heben.
4. Safety Phase (Sicherheit): Für $Q^-$-Fälle (Regressionen) wird das Lehrer-Modell gebeten, die Skill-Datei so anzupassen, dass die Regressionen behoben werden, ohne die korrekten Antworten in $Q^+$ zu zerstören. Updates müssen einen Schwellenwert $\tau_{safe}$ erfüllen.
5. Dieser Zyklus wiederholt sich, bis keine signifikanten Verbesserungen mehr erzielt werden.

3. Wichtige Beiträge

1. Erstes System für automatische, training-freie Skill-Generierung: ASDA ist das erste Framework, das ausführbare Agent-Skills für domänenspezifisches Reasoning ausschließlich über Black-Box-Zugriff generiert, ohne Gewichts-Updates.
2. Selbstgenügsame Anpassung (Self-Teaching): Ein Ablationsstudie zeigt, dass ASDA auch funktioniert, wenn das Schüler-Modell sein eigener Lehrer ist (Analyse eigener Fehler). Dies erzielt 73 % des vollen Gewinns, was bedeutet, dass Organisationen keine teureren Lehrer-Modelle benötigen, um ASDA einzusetzen.
3. Neue Repräsentationsschicht: Die resultierenden Skill-Artefakte sind menschenlesbar, versionierbar und auditierbar. Sie bilden eine neue Schicht zwischen Modell und Kontext, die unabhängig vom Basis-Modell verwaltet werden kann.

4. Ergebnisse

Das Framework wurde auf dem FAMMA-Benchmark (Financial Reasoning) evaluiert, der 1.945 Fragen aus acht Finanzunterbereichen umfasst.

• Leistungssteigerung:
  • Auf dem arithmetischen Reasoning (Haiku 3.5) erzielte ASDA eine Verbesserung von +17,33 Prozentpunkten (von 41,00 % auf 58,33 %) nach zwei Verfeinerungs-Epochen.
  • Auf dem nicht-arithmetischen Reasoning wurde eine Steigerung von +5,95 Prozentpunkten erreicht.
  • ASDA übertraf alle bestehenden training-freien Baselines (GEPA, ACE) deutlich, die nur marginale Gewinne zeigten.
• Effizienz: Die Anpassung ist kostengünstig (ca. 13 $ und 6 Stunden Rechenzeit pro Konfiguration).
• Transferierbarkeit: Skills sind modell-spezifisch. Der Transfer von Skills eines schwächeren Modells (Haiku 3.5) auf ein stärkeres Modell (Haiku 4.5) führte zu einer Regression (-2,33 pp). Skills müssen daher für jedes eingesetzte Modell separat generiert werden.
• Selbst-Teaching: Der Großteil der Verbesserung stammt aus der Strukturierung des Trainingsdatensatzes selbst, nicht aus dem Wissen eines überlegenen Lehrers.

5. Bedeutung und Implikationen

• Praktische Anwendbarkeit: ASDA bietet regulierten Branchen (Finanzen, Recht, Gesundheit), die auf Black-Box-APIs angewiesen sind, einen praktikablen Weg zur Domänenanpassung. Unternehmen können Skill-Bibliotheken versionieren, von Experten prüfen lassen und bei Modell-Updates neu generieren, ohne Zugriff auf die Modellgewichte zu benötigen.
• Paradigmenwechsel: Die Arbeit zeigt, dass Fehlergetriebene Distillation latentes Domänenwissen in eine explizite, überprüfbare Form überführen kann. Skills sind keine „besseren Prompts", sondern modulare, ausführbare Prozeduren, die als Fehlerkorrekturmechanismus für spezifische Modell-Schwächen dienen.
• Zukunftsausblick: Das Framework ist vielversprechend für andere strukturierte, prozedurale Domänen wie Rechts- oder Steuerberatung, wo Auditierbarkeit und klare Fehlerkategorien entscheidend sind.

Zusammenfassend demonstriert ASDA, dass durch systematische Fehleranalyse und strukturierte Skill-Generierung die Leistung von LLMs in komplexen Finanzbereichen erheblich gesteigert werden kann, ohne die teuren und unflexiblen Prozesse des Fine-Tunnings in Anspruch zu nehmen.