ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning

L'article présente ASDA, un cadre d'apprentissage sans modification des poids qui améliore significativement le raisonnement financier des modèles de langage en générant automatiquement des artefacts de compétences structurés à partir de l'analyse des erreurs, surpassant ainsi les méthodes d'optimisation textuelle non structurées existantes.

L'essentiel

🏦 ASDA : L'Art de donner un "Carnet de Recettes" aux IA financières

Imaginez que vous embauchez un super-cuisinier (c'est l'Intelligence Artificielle ou LLM) pour gérer les finances d'une grande entreprise. Ce cuisinier est incroyablement talentueux : il connaît des millions de recettes, peut parler toutes les langues et cuisiner n'importe quel plat.

Mais il y a un problème : il n'est pas un expert en finance.

Quand on lui demande de calculer le prix d'une obligation complexe ou d'analyser un risque boursier, il fait des erreurs. Il ne manque pas de "cerveau", mais il manque de méthode. Il essaie de deviner au lieu de suivre une procédure précise, un peu comme quelqu'un qui essaierait de réparer une montre avec un marteau parce qu'il ne connaît pas les petits outils.

Habituellement, pour corriger cela, les entreprises doivent "rééduquer" le cuisinier pendant des mois (ce qu'on appelle le fine-tuning). C'est cher, long, et si le cuisinier change de travail (nouvelle version de l'IA), tout le travail d'éducation est perdu.

ASDA (Automated Skill Distillation and Adaptation) propose une solution géniale : au lieu de rééduquer le cuisinier, on lui donne un "Carnet de Recettes" (ou un manuel de poche) qu'il consulte à chaque fois qu'il cuisine.

🛠️ Comment fonctionne ASDA ? (L'analogie du Chef et du Critique)

Le système ASDA fonctionne en trois étapes simples, comme une relation entre un Chef (l'IA élève) et un Critique Culinaire (l'IA enseignante).

1. La Phase de Diagnostic (Le Repas Raté)
Le Chef prépare un plat (répond à une question financière). S'il se trompe, le Critique regarde la cuisine.

• Ce que font les autres méthodes : Le Critique dit juste "Ce plat est mauvais, essaie de faire mieux la prochaine fois !" (C'est vague, ça ne sert à rien).
• Ce que fait ASDA : Le Critique analyse exactement pourquoi c'est raté. "Ah ! Tu as oublié de mélanger les ingrédients dans le bon ordre" ou "Tu as utilisé le mauvais ustensile pour ce type de sauce".

2. La Création du "Carnet de Recettes" (Distillation)
Au lieu de simplement corriger le plat, le Critique écrit une fiche technique précise dans un carnet spécial.

• Cette fiche dit : "Quand tu vois une question sur les obligations (Fixed Income), n'utilise jamais la méthode X. Utilise toujours la méthode Y, étape par étape, comme ceci..."
• Ces fiches sont comme des outils numériques (des scripts de code ou des procédures claires) que l'IA peut lire et suivre.

3. L'Application (Le Service en Salle)
Quand le Chef reçoit une nouvelle commande (une nouvelle question), il ne devine plus. Il consulte d'abord son carnet de recettes.

• Il lit la fiche : "Ah, c'est une question sur les taux d'intérêt. Je dois suivre la procédure 'Discounting'."
• Il suit les étapes scrupuleusement et produit un résultat parfait.

🔄 L'Entraînement par l'Erreur (Le Cycle de Perfectionnement)

Le plus beau dans ASDA, c'est que le système s'améliore tout seul :

1. Le Chef utilise le carnet.
2. S'il fait encore une erreur, le Critique regarde la nouvelle fiche, voit ce qui cloche, et réécrit la fiche pour qu'elle soit encore plus précise.
3. Si une fiche aide trop sur un sujet mais embrouille le Chef sur un autre, le Critique la modifie pour qu'elle soit plus sûre.

C'est comme un apprenti qui, après chaque erreur, met à jour son manuel d'instructions pour ne plus jamais refaire la même bêtise.

🌟 Pourquoi c'est révolutionnaire ?

• Pas de rééducation coûteuse : On ne touche pas aux "cerveaux" de l'IA (on ne modifie pas ses poids). On lui donne juste un outil externe. C'est comme donner une carte GPS à un chauffeur plutôt que de lui apprendre à conduire depuis zéro.
• Transparent et Vérifiable : Les "fiches" sont écrites en langage humain (ou en code simple). Un expert humain peut les lire, les vérifier et dire : "Oui, cette méthode est correcte". C'est crucial pour la finance, où l'on doit pouvoir expliquer ses décisions.
• Spécifique à la machine : Le papier montre une chose fascinante : les fiches créées pour un modèle d'IA (disons, le modèle "Haiku 3.5") ne fonctionnent pas toujours bien pour un modèle plus fort ("Haiku 4.5"). C'est comme si chaque cuisinier avait besoin de son propre carnet de recettes adapté à sa façon de travailler. ASDA permet de créer ce carnet pour n'importe quel modèle, gratuitement, en quelques heures.

💡 En résumé

ASDA ne transforme pas l'IA en expert financier en la forçant à apprendre par cœur. Au lieu de cela, il lui donne un manuel de procédures intelligent qu'elle consulte à la volée.

C'est la différence entre demander à un génie de mathématiques de deviner la réponse à un problème complexe, et lui donner la formule exacte à appliquer. Le résultat ? Une précision qui bondit de 17% sur les calculs financiers, sans dépenser des millions en réentraînement, et avec un système que l'on peut auditer et améliorer à l'infini.

Le mot de la fin : ASDA, c'est passer de "J'espère que l'IA a raison" à "Voici la recette exacte, l'IA va suivre la recette, donc elle a raison".

Résumé technique

1. Problématique : Les limites de l'adaptation financière des LLM

Le raisonnement financier pose un défi unique pour les grands modèles de langage (LLM) généralistes. Il exige une maîtrise simultanée de calculs quantitatifs multi-étapes et d'un jugement spécifique au domaine. Les benchmarks financiers existants (comme FAMMA et FinBen) révèlent un plafond de performance persistant : les modèles de pointe non spécialisés n'atteignent que 38 à 45 % de précision.

Les approches actuelles présentent des défauts majeurs :

• Le fine-tuning (ajustement fin) : Bien qu'efficace, il est coûteux, produit une expertise « verrouillée » dans le modèle (nécessitant un réentraînement à chaque mise à jour du modèle de base) et est impossible pour les organisations utilisant des API « boîte noire » sans accès aux poids du modèle.
• L'optimisation de prompts (sans entraînement) : Des méthodes comme GEPA et ACE optimisent des chaînes de texte plates (monolithiques). Les auteurs montrent que ces méthodes n'apportent que des gains marginaux car elles manquent de modularité et d'exécutabilité pour gérer le raisonnement procédural complexe nécessaire en finance.

Le besoin identifié : Une méthode d'adaptation sans modification des poids, capable de générer des « compétences » (skills) exécutables, modulaires et auditable, spécifiquement adaptées aux erreurs d'un modèle donné.

---

2. Méthodologie : Le cadre ASDA

Les auteurs proposent ASDA (Automated Skill Distillation and Adaptation), un cadre qui génère automatiquement des artefacts de compétences structurées à partir de l'analyse des erreurs, sans modifier les poids du modèle.

L'architecture repose sur une relation Maître-Élève (Teacher-Student) et se déroule en deux phases principales :

A. Phase de « Warm-up » (Initialisation)

1. Analyse des échecs : Pour chaque question où le modèle élève échoue, un modèle maître (Teacher) analyse la question, la réponse incorrecte et la trace de raisonnement, par rapport à la réponse correcte.
2. Annotation structurée : Le maître identifie le sous-domaine financier (ex: obligations, dérivés) et le type d'erreur (ex: sélection de méthode erronée, confusion de concepts) selon une taxonomie prédéfinie. Il détermine la « cause racine » (lacune de connaissance).
3. Clustering et Synthèse : Les échecs sont regroupés par paires (sous-domaine, type d'erreur). Pour chaque groupe, le maître synthétise un fichier de compétence (Skill File) contenant :
   • Des procédures de raisonnement étape par étape.
   • Des modèles de code (templates).
   • Des exemples résolus (worked examples).
   • Des conditions d'utilisation (« When to use »).
4. Injection : À l'inférence, un sélecteur LLM identifie les compétences pertinentes via un fichier de navigation (SKILL.md) et les injecte dans le prompt du modèle élève.

B. Raffinement Itératif (Dual-Phase Iterative Refinement)

Pour corriger les lacunes de couverture et éviter les régressions, le système itère sur deux phases :

1. Phase de Couverture (Coverage) : Identifie les questions que le modèle rate toujours même avec les compétences actuelles (Q_gap). Le maître propose de nouvelles compétences ou affine les existantes pour couvrir ces cas.
2. Phase de Sécurité (Safety) : Identifie les régressions (Q_minus), c'est-à-dire des questions que le modèle savait répondre correctement mais qu'il rate désormais à cause d'une compétence trop agressive ou inadaptée. Le maître ajuste les compétences pour supprimer ces effets secondaires tout en préservant les corrections.
3. Validation : Chaque mise à jour est validée par un seuil de précision strict avant d'être intégrée à la bibliothèque.

---

3. Contributions Clés

1. Premier système de génération automatique de compétences exécutables : ASDA est la première approche à générer des artefacts de compétences pour le raisonnement spécifique à un domaine en utilisant uniquement l'accès API (boîte noire), surpassant toutes les bases de référence sans entraînement.
2. Adaptation autonome (Self-Teaching) : Une ablation montre qu'un modèle peut s'adapter à lui-même (en tant que son propre maître) en utilisant uniquement les questions et les réponses correctes d'un jeu de données étiqueté. Cela permet à n'importe quelle organisation d'adapter son modèle déployé sans avoir accès à un modèle supérieur ou plus coûteux.
3. Format standardisé et auditable : Les compétences générées sont au format Markdown, compatibles avec la norme ouverte « Agent Skills ». Elles sont lisibles par l'homme, versionnables et peuvent être révisées par des experts, offrant une traçabilité cruciale pour les industries régulées (finance, santé, droit).

---

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark FAMMA (Financial Reasoning Benchmark), divisé en questions arithmétiques et non arithmétiques.

• Performance :

  • Sur le modèle Haiku 3.5, ASDA améliore la précision de +17,33 points de pourcentage (pp) sur le raisonnement arithmétique et de +5,95 pp sur le raisonnement non arithmétique après raffinement itératif.
  • Ces résultats surpassent largement les méthodes de référence sans entraînement (GEPA et ACE), qui n'obtiennent que des gains marginaux (+1 à +3 pp).
  • Le gain est également observé sur le modèle plus puissant Haiku 4.5 (+5,99 pp en arithmétique), démontrant que la méthode ajoute de la valeur même aux modèles de pointe.

• Analyse de l'ablation (Self-Teaching) :

  • Lorsqu'un modèle s'adapte à lui-même (sans maître supérieur), il récupère 73 % du gain total (+6,33 pp sur +8,67 pp). Cela prouve que la majeure partie de l'amélioration provient de la structure imposée par le processus de distillation (externalisation des connaissances latentes) plutôt que de la connaissance supérieure du modèle maître.

• Portabilité des compétences :

  • Les compétences sont spécifiques au modèle. Transférer les compétences générées par Haiku 3.5 vers Haiku 4.5 entraîne une régression de performance (-2,33 pp). Cela indique que les compétences sont des remèdes aux échecs spécifiques d'un modèle donné et ne sont pas des connaissances génériques transférables.

• Coût : Le pipeline complet (distillation et raffinement) coûte environ 13 $ et prend 6 heures de temps réel pour une configuration donnée, rendant l'approche économiquement viable à l'échelle de l'entreprise.

---

5. Signification et Conclusion

L'article ASDA démontre que l'adaptation des LLM aux domaines complexes ne nécessite pas nécessairement un réentraînement coûteux ou un accès aux poids du modèle.

• Changement de paradigme : Au lieu de chercher un « meilleur prompt » (texte plat), ASDA introduit une nouvelle couche de représentation entre le modèle et son contexte de déploiement : une bibliothèque de compétences exécutables et modulaires.
• Implications pour l'industrie : Pour les secteurs régulés où l'auditabilité et la conformité sont critiques, ASDA offre une voie pratique. Les entreprises peuvent générer, versionner et auditer des règles de raisonnement spécifiques à leur domaine sans toucher au cœur du modèle.
• Limites et perspectives : Les compétences sont actuellement spécifiques à un modèle et à un domaine (financier). Les travaux futurs visent à étendre cette approche à d'autres domaines structurés (juridique, fiscal) et à optimiser la compression des bibliothèques de compétences.

En résumé, ASDA transforme les échecs d'un modèle en un système de connaissances explicites, inspectables et actionnables, comblant le fossé entre les capacités brutes des LLM et les exigences rigoureuses du raisonnement financier.