Retcon -- a Prompt-Based Technique for Precise Control of LLMs in Conversations

Ce papier présente Retcon, une technique de promptage par quelques exemples conçue pour offrir un contrôle précis au niveau de chaque tour de parole dans les conversations avec les grands modèles de langage, surpassant ainsi les méthodes de promptage zero-shot et few-shot traditionnels.

L'essentiel

🎭 Le Problème : L'Acteur qui Oublie son Rôle

Imaginez que vous dirigez un acteur (l'Intelligence Artificielle) dans une pièce de théâtre.

• La méthode classique (Zero-shot) : Vous lui donnez juste une note en début de pièce : "Sois gentil et parle comme un enfant de 5 ans." Mais au fur et à mesure que la pièce avance, l'acteur oublie cette consigne. Il commence à parler comme un adulte, ou à devenir trop sérieux. C'est difficile de lui rappeler la consigne à chaque réplique sans casser le rythme.
• La méthode traditionnelle (Few-shot) : Vous lui montrez quelques exemples de scènes passées où il a bien joué son rôle. "Regarde, dans cette scène, il a parlé simplement."
  • Le hic : Si vous lui montrez 10 exemples de scènes complètes, cela prend beaucoup de temps à lire (le contexte devient énorme). De plus, l'acteur ne voit que les scènes complètes, pas chaque réplique individuelle. Il a du mal à ajuster son ton à la volée, réplique par réplique.

🚀 La Solution : Retcon (La "Réécriture en Direct")

Les auteurs de l'article (de Google) ont inventé une technique appelée Retcon. Le mot vient de la fiction ("retconning"), où l'on réécrit l'histoire passée d'un personnage pour expliquer un nouveau développement.

L'analogie du Scénariste Invisible :
Au lieu de donner à l'acteur un gros bloc d'exemples au début, le scénariste (le système) intervient à chaque seconde de la conversation.

1. La Réécriture : Avant chaque réplique que l'acteur doit dire (ou qu'il a déjà dite dans les exemples), le scénariste écrit une petite note invisible juste avant : "Maintenant, parle comme un expert en mathématiques" ou "Maintenant, sois très triste".
2. L'Effet : L'acteur ne voit pas juste une scène passée. Il voit une chaîne continue où chaque action est précédée d'une instruction précise.
   • Exemple :
     • (Note : Parle simple) -> "Bonjour."
     • (Note : Parle complexe) -> "Comment allez-vous aujourd'hui ?"
     • (Note : Parle simple) -> "Ça va ?"

En faisant cela, l'IA comprend que chaque réplique est un exemple à suivre, et non pas chaque conversation entière. C'est comme si vous lui montriez 100 exemples de répliques au lieu de 10 exemples de scènes.

🧪 L'Expérience : Le Professeur d'Anglais

Pour tester leur idée, les chercheurs ont demandé à l'IA de jouer le rôle d'un professeur d'anglais.

• Le défi : L'IA devait adapter la difficulté de ses phrases en temps réel, selon un niveau précis (de A1 pour les débutants à C2 pour les experts).
• Le résultat :
  • Avec les méthodes classiques, l'IA se trompait souvent de niveau (elle parlait trop fort pour un débutant, ou trop simple pour un expert).
  • Avec Retcon, l'IA a été beaucoup plus précise. Même avec moins d'exemples globaux, elle a réussi à suivre les instructions réplique par réplique.

C'est comme si l'IA avait un "GPS" qui lui disait exactement où tourner à chaque intersection, au lieu de lui donner une carte générale au début du voyage.

⚖️ Les Avantages et les Inconvénients

Les Points Forts (Pourquoi c'est génial) :

• Précision chirurgicale : On peut changer le ton, la difficulté ou le style à chaque instant.
• Pas de réentraînement : On n'a pas besoin de réapprendre l'IA (ce qui coûte cher et prend du temps). On change juste la façon de lui parler.
• Efficacité : Elle obtient de meilleurs résultats avec moins d'exemples globaux que les méthodes classiques.

Les Points Faibles (Ce qui est difficile) :

• La longueur du texte : Comme on ajoute une note avant chaque phrase, le message devient très long. C'est comme écrire un livre entier pour une seule conversation. Cela coûte plus cher en temps de calcul.
• Le besoin d'un "Juge" : Pour que ça marche, il faut un petit programme qui vérifie en temps réel si la phrase de l'IA correspond bien au niveau demandé (ex: "Est-ce que cette phrase est vraiment niveau A1 ?"). C'est comme avoir un correcteur invisible qui travaille en même temps que l'acteur.
• Risque d'abus : Comme on peut contrôler l'IA très finement, un méchant pourrait l'utiliser pour cacher des publicités subtiles ou manipuler les gens sans qu'ils s'en rendent compte.

🎯 En Résumé

Retcon, c'est comme passer d'une direction générale ("Sois gentil") à une direction pas à pas ("Maintenant, souris. Maintenant, parle doucement. Maintenant, pose une question").

C'est une technique puissante qui permet de transformer une IA un peu "têtue" en un partenaire de conversation ultra-flexible, capable de s'adapter parfaitement à chaque moment de la discussion, comme un acteur de génie qui suit chaque note de son metteur en scène.

Résumé technique

1. Problématique

Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour des agents conversationnels (support client, assistants pédagogiques, bots interactifs). Cependant, contrôler le comportement d'un LLM au fil d'une conversation multi-tours reste un défi majeur.

Les techniques traditionnelles de prompting (invites) présentent des limites :

• Zero-shot (sans exemples) : Souvent insuffisant pour respecter des contraintes spécifiques (ton, difficulté, style) qui diffèrent du contexte précédent.
• Few-shot (avec quelques exemples) : Bien que plus performant, il traite chaque conversation d'exemple comme un bloc unique. Pour ajuster le comportement à chaque tour de parole, il faut soit créer de nombreuses conversations d'exemples (coûteux en tokens et en temps de calcul), soit que le modèle généralise mal les instructions sur de longues conversations.
• Fine-tuning : Bien que efficace, il est coûteux en ressources et en temps, et peu accessible pour de nombreuses applications en temps réel.

Il existe donc un besoin urgent d'une technique de prompting qui offre un contrôle granulaire (au niveau de chaque tour de parole) sans nécessiter de réentraînement du modèle.

2. Méthodologie : La technique Retcon

Les auteurs proposent Retcon (contraction de "Retroactive Continuity", un terme de fiction désignant la réécriture d'une histoire), une technique de few-shot prompting innovante.

Concept Central

Contrairement au few-shot traditionnel où chaque conversation sert d'exemple, Retcon utilise chaque tour de parole (turn) comme un exemple distinct. La technique consiste à réécrire l'historique de la conversation (y compris celle en cours) pour injecter une instruction spécifique avant chaque réponse du modèle.

Mécanisme de Construction du Prompt

1. Fonction d'Évaluation (E) : Le système nécessite une fonction d'évaluation capable de mesurer si un texte donné respecte un objectif (ex: niveau de difficulté linguistique, ton).
2. Injection d'Instructions : Pour chaque tour de parole $T$ dans les conversations d'exemples et dans la conversation courante, une instruction $I(E(T))$ est injectée juste avant le texte de la réponse.
   • Exemple : Au lieu de donner une instruction à la fin d'une conversation d'exemple, on place une instruction avant chaque réponse de l'assistant dans l'exemple.
3. Structure du Prompt :
   • Introduction système ($O$).
   • Pour chaque exemple de conversation : Instruction -> Réponse 1 -> Instruction -> Réponse 2 -> ...
   • Pour la conversation courante : Instruction -> Réponse 1 -> Instruction -> Réponse 2 -> ... -> Instruction cible pour le tour actuel.

Cette approche transforme la conversation en une série dense d'exemples d'apprentissage, augmentant considérablement la densité d'information contextuelle pour le modèle.

3. Contributions Clés

• Nouvelle Technique de Prompting : Introduction de Retcon, qui déplace le paradigme de l'exemple "conversationnel" vers l'exemple "au niveau du tour de parole".
• Contrôle Granulaire : Capacité à ajuster dynamiquement le comportement du modèle (ex: difficulté linguistique, ton) à chaque tour de conversation, même lorsque les contraintes changent radicalement par rapport aux tours précédents.
• Évaluation Empirique Rigoureuse : Création d'un nouveau jeu de données et d'une méthodologie d'évaluation spécifique pour mesurer l'adaptation des LLM aux instructions en temps réel, un domaine où les benchmarks existants étaient insuffisants.
• Preuve de Supériorité : Démonstration que Retcon surpasse significativement le zero-shot et le few-shot traditionnel, même lorsque le few-shot utilise un nombre équivalent ou supérieur de tours d'exemples.

4. Résultats de l'Expérimentation

L'expérience a été menée sur une tâche d'ajustement de la difficulté linguistique (selon l'échelle CEFR : A1 à C2) dans un rôle de professeur d'anglais.

• Métrique : Erreur quadratique moyenne (MSE) entre la difficulté cible et la difficulté réelle générée par le modèle.
• Comparaison :
  • Zero-shot : MSE élevé (~1.62), montrant une incapacité à suivre des instructions complexes sans exemples.
  • Few-shot (traditionnel) : Performances moyennes (MSE ~0.66 avec 10 exemples). L'ajout de plus d'exemples de conversations n'améliore pas linéairement les résultats.
  • Retcon : Performances supérieures (MSE ~0.54 avec seulement 4 conversations d'exemples, soit ~80-100 tours d'exemples).
• Efficacité par rapport à la longueur du contexte : Même lorsque le few-shot est configuré pour avoir un nombre de tours d'exemples comparable à Retcon (en réutilisant les mêmes conversations sur plus de tours), Retcon reste supérieur. Cela suggère que la proximité de l'instruction par rapport à la réponse (chaque instruction est juste avant le tour correspondant) est un facteur clé de succès, au-delà de la simple quantité de données.
• Robustesse : Retcon maintient une haute précision même avec 0 conversation d'exemple préalable, car chaque tour de la conversation en cours sert d'exemple pour le tour suivant.

5. Signification et Implications

• Avantages Opérationnels : Retcon permet un contrôle précis sans le coût computationnel et financier du fine-tuning. C'est une solution idéale pour les applications nécessitant une adaptation dynamique (tuteurs, jeux de rôle, support client).
• Limites et Défis :
  • Coût de Contexte : La longueur des prompts est plus grande car chaque tour est précédé d'une instruction, augmentant le coût de calcul (tokens). Cependant, la précision accrue compense souvent ce surcoût.
  • Dépendance à l'Évaluation : La technique nécessite une fonction d'évaluation intégrée au flux de service (serving path) pour générer les instructions dynamiquement.
  • Création de Données : La nécessité de créer des conversations d'exemples annotées peut être un obstacle, bien que moins coûteux que le fine-tuning.
• Risques Éthiques : Une meilleure capacité de contrôle augmente le risque d'abus (ex: injection subtile de publicités ou de désinformation dans les conversations). Les auteurs appellent à des cadres juridiques et à une transparence accrue.

Conclusion

Retcon représente une avancée significative dans l'ingénierie de prompts pour les LLM conversationnels. En réécrivant l'historique de la conversation pour transformer chaque interaction en un exemple d'apprentissage immédiat, elle permet un contrôle beaucoup plus fin et précis que les méthodes actuelles, ouvrant la voie à des agents conversationnels plus adaptatifs et fiables sans nécessiter de réentraînement des modèles.