CRAFT: Learn the Schema, Execute the Plan
CRAFT est un cadre de post-entraînement en deux étapes pour les agents de codage d'entreprise qui apprend des comportements de planification et d'exécution ancrés dans le schéma sans injection exhaustive de schémas au moment de l'invite, améliorant considérablement les performances analytiques, la cohérence et l'efficacité tout en réduisant les frais de jetons.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où vous pouvez parler à un assistant robotique super intelligent et lui demander d'effectuer des calculs complexes, d'analyser d'énormes quantités de données ou d'écrire des programmes informatiques simplement en utilisant le langage courant. C'est le rêve des « agents de codage ». Mais voici le hic : pour faire son travail, ce robot doit connaître les règles secrètes de la base de données sur laquelle il travaille. Imaginez cela comme un chef essayant de cuisiner un repas gastronomique. Si le chef ne sait pas quels ingrédients se trouvent dans le garde-manger ou comment fonctionne la cuisinière, il ne peut pas cuisiner. Par le passé, pour aider le robot, les ingénieurs injectaient une encyclopédie massive et poussiéreuse contenant chaque règle, nom de table et définition de colonne directement dans le cerveau du robot à chaque fois qu'il posait une question. C'était comme forcer le chef à lire l'encyclopédie entière avant de couper un seul oignon. C'était lent, coûteux et si le garde-manger changeait même un tout petit peu, tout le système se brisait.
Maintenant, imaginez que plutôt que de lire l'encyclopédie à chaque fois, le chef puisse simplement se souvenir de l'agencement de la cuisine après quelques séances d'entraînement. C'est la grande question que cet article aborde : pouvons-nous apprendre à ces assistants IA à apprendre les règles de la base de données une fois pour toutes, afin qu'ils n'aient pas besoin d'être rappelés à l'ordre à chaque fois ? Les chercheurs ont voulu voir s'ils pouvaient apprendre à l'IA à « internaliser » le schéma (la carte des données) et les outils dont elle a besoin, rendant l'assistant plus rapide, plus intelligent et moins susceptible de s'embrouiller lorsque la conversation devient longue et compliquée.
L'article : CRAFT – Apprendre la carte, puis courir la course
L'article présente un nouveau système appelé CRAFT (qui signifie une recette en deux étapes pour l'apprentissage). Les auteurs, une équipe d'Amazon, voulaient construire une IA capable d'aider les experts en publicité à analyser les données de leurs campagnes sans les noyer dans les détails techniques. Ils ont constaté que l'ancienne méthode consistant à « bourrer » le prompt de l'IA avec une documentation interminable était comme essayer de courir un marathon en portant un sac à dos rempli de briques. Cela ralentissait tout et rendait l'IA sujette aux erreurs.
Ils ont donc essayé une approche différente : Apprendre le schéma, exécuter le plan.
Étape 1 : La salle de classe « dénuée de schéma »
D'abord, ils ont enseigné à l'IA dans une salle de classe spéciale où l'« encyclopédie » avait été retirée. Ils ont donné à l'IA des milliers d'exemples de résolution de problèmes, mais ils ont caché les règles brutes de la base de données (le DDL) de l'entrée. Au lieu de lire les règles, l'IA devait apprendre les schémas de pensée et de planification.
Considérez cela comme l'enseignement à un étudiant pour résoudre un problème mathématique en lui montrant les étapes et la logique, mais sans le laisser regarder la fiche de formules. Il doit mémoriser la manière de réfléchir. Les chercheurs appellent cela le SFT supervisé par PLAN. C'est comme si l'IA apprenait la « mémoire musculaire » de la manière de structurer un plan et d'écrire du code, sans avoir besoin de la feuille de triche à chaque fois.
Étape 2 : La salle de sport de l'« apprentissage par renforcement »
Une fois que l'IA avait acquis la mémoire musculaire de base, ils l'ont placée dans une salle de sport pour l'Apprentissage par Renforcement (RL). C'est ici que l'IA essaie réellement d'exécuter le code et d'utiliser les outils. Si elle commet une erreur — comme appeler le mauvais outil ou écrire un code qui plante — elle reçoit un « score négatif ». Si elle réussit, elle reçoit un « score positif ».
Les chercheurs ont utilisé un système de notation spécial qui ne se contentait pas de vérifier si le code s'exécutait ; il vérifiait si le code était bon, si le plan correspondait au code, et si l'IA pouvait se rétablir quand les choses tournaient mal. C'est comme un entraîneur qui regarde un coureur non seulement terminer la course, mais vérifie aussi sa forme, sa vitesse et la façon dont il gère un trébuchement. Cette étape, appelée GRPO orienté par l'exécution, a appris à l'IA à être fiable et cohérente, même lorsque l'utilisateur pose des questions de suivi ou change les règles en cours de conversation.
Les résultats : Plus rapide, plus intelligent et moins encombré
Les résultats ont été assez impressionnants. Lorsqu'ils ont testé CRAFT contre l'ancienne méthode du « sac à dos de briques » :
- Vitesse : Le nouveau système a réduit la quantité de texte (tokens) que l'IA devait lire d'environ 9 fois. C'est une perte de poids massive pour le cerveau de l'IA.
- Intelligence : Le « Score Agent » global (une mesure de la réussite de la tâche) a augmenté de 9,6 points de pourcentage.
- Cohérence : L'IA est devenue 4,1 points de pourcentage plus cohérente, ce qui signifie qu'elle donnait la même bonne réponse même si on posait la même question deux fois.
- Moins de confusion : Elle a réduit le nombre de fois où l'IA devait « chercher » le bon outil jusqu'à 5 fois.
Les chercheurs ont également constaté que l'IA devenait bien meilleure pour gérer les conversations multi-tours. Si un utilisateur disait : « Montre-moi les ventes », puis enchaînait avec : « Maintenant, filtre uniquement pour les chemises rouges », l'IA de CRAFT se souvenait du contexte et maintenait le fil conducteur, alors que l'ancien système se perdait souvent.
Ce qu'il n'est pas (et ce qu'il faut surveiller)
Il est important de noter ce que cet article ne prétend pas. Les auteurs sont très clairs : ce système est conçu pour des schémas stables et connus. Si la base de données invente soudainement un tout nouveau type de données ou un outil totalement inédit que l'IA n'a jamais vu, CRAFT pourrait rester bloquée. C'est comme un chef qui connaît parfaitement la cuisine mais ne sait pas comment utiliser un tout nouvel appareil étrange qu'il n'a jamais vu auparavant. Dans ces cas-là, vous devrez peut-être encore consulter les règles (récupération/retrieval) ou réentraîner le chef.
De plus, l'article admet que, bien que l'IA soit excellente pour suivre le plan, elle n'optimise pas encore pleinement des éléments comme la quantité de mémoire informatique qu'elle utilise ou le coût de fonctionnement sur le serveur. C'est un travail pour les futures mises à jour.
L'essentiel
CRAFT suggère qu'au lieu de constamment enfoncer des informations dans le visage d'une IA, nous pouvons lui apprendre à connaître les règles une fois pour toutes, puis lui faire confiance pour exécuter le plan. En combinant une phase d'entraînement « sans feuille de triche » avec une phase de « pratique et correction », ils ont construit un agent plus léger, plus rapide et plus fiable. C'est un pas vers la création d'assistants IA qui ressemblent moins à des robots lisant un manuel et davantage à des collègues experts qui savent simplement comment l'entreprise fonctionne.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.