Résumé technique : Explications par contre-factuels de prompts pour le comportement des systèmes d'IA générative

Énoncé du problème

À mesure que les systèmes d'IA générative, en particulier les grands modèles de langage (LLM), sont intégrés dans des applications réelles à enjeux élevés, il devient crucial de comprendre non seulement ce que ces systèmes génèrent, mais aussi pourquoi. Les techniques traditionnelles d'IA explicable (XAI), spécifiquement les explications contrefactuelles (CFE), sont conçues pour les systèmes prédictifs produisant des décisions discrètes et déterministes. Cependant, leur application directe à l'IA générative est irréalisable en raison de quatre défis fondamentaux :

1. Complexité de la sortie : Les sorties génératives sont complexes, non structurées et de haute dimension (par exemple, des documents entiers), contrairement aux sorties unidimensionnelles et discrètes des classifieurs traditionnels.
2. Structure de l'entrée : Les méthodes de CFE standard traitent souvent les entrées comme des ensembles de caractéristiques non ordonnés (par exemple, sac de mots), ignorant la structure séquentielle et linguistique critique pour les LLM.
3. Stratégie de remplacement : Définir des « contre-factuels » efficaces nécessite des stratégies flexibles pour modifier les « morceaux » d'entrée (par exemple, masquage, remplacement par des synonymes), ce qui varie selon le contexte.
4. Non-déterminisme : L'IA générative est stochastique ; des prompts identiques peuvent produire des sorties différentes. Les CFE traditionnelles supposent une correspondance déterministe de l'entrée vers la sortie, ce qui rend la question « quel changement modifie la sortie ? » mal définie sans un cadre probabiliste.

L'article se concentre sur une sous-classe spécifique de comportements d'IA générative : si la sortie présente une caractéristique spécifique (par exemple, toxicité, biais politique, sentiment négatif) telle que révélée par un classifieur en aval. L'objectif est d'identifier les changements minimaux apportés au prompt d'entrée qui altèrent la probabilité ou le score agrégé de cette caractéristique.

Méthodologie : Le cadre PCE

Les auteurs proposent un cadre pour les Explications par Contre-factuels de Prompts (PCE) qui adapte les CFE aux systèmes génératifs non déterministes.

Concept central

Le cadre traite le système d'IA générative et un classifieur en aval comme un pipeline unique. Un PCE est défini comme un ensemble minimal d'éléments d'entrée (mots, phrases ou phrases complètes) dont le retrait ou la modification fait chuter le score agrégé du classifieur en aval en dessous d'un seuil défini par l'utilisateur.

L'algorithme PCE-1

L'article introduit un algorithme simple (PCE-1) pour générer ces explications :

1. Scoring initial : Le prompt original $S$ est passé au modèle génératif $G$ pour produire $N$ échantillons. Un classifieur en aval $C_m$ évalue ces échantillons, et une fonction d'agrégation $f_{Cm}$ calcule un score (par exemple, sentiment moyen, proportion de sorties toxiques). Si ce score dépasse un seument, le processus se poursuit.
2. Sensibilité au niveau des éléments : L'algorithme itère à travers les éléments du prompt (par exemple, les mots). Pour chaque élément $e_i$, il crée un prompt modifié $S \setminus e_i$ (typiquement en masquant l'élément avec des tirets bas) et relance le processus de génération et de classification.
3. Construction de l'explication :
   • Éléments uniques : Si le masquage d'un élément unique fait tomber le score agrégé en dessous du seuil, il est enregistré comme une explication à élément unique.
   • Sous-ensembles multi-éléments : L'algorithme construit des sous-ensembles d'éléments n'ayant pas encore été identifiés comme des explications à élément unique. Il les trie par cardinalité (préférant les ensembles plus petits) et par impact sur le score. Il teste les sous-ensembles pour voir si leur retrait réduit le score en dessous du seuil.
   • Terminaison : La recherche s'arrête lorsqu'un nombre cible d'explications est trouvé ou qu'une limite de temps est atteinte.

Le cadre est flexible concernant la définition du score agrégé (moyenne, médiane, probabilité d'événements extrêmes) et du seuil, ce qui lui permet de s'adapter à différents profils de risque (par exemple, minimiser la toxicité moyenne versus garantir l'absence totale de sorties toxiques).

Contributions clés

1. Adaptation systématique : Il s'agit de la première adaptation systématique des explications contrefactuelles standard aux systèmes d'IA générative dotés de classifieurs en aval.
2. Résolution des défis : L'article expose explicitement les quatre défis de l'application des CFE à l'IA générative et propose un cadre qui y répond (via le flux de travail de classification en aval, les unités d'entrée flexibles, les stratégies de masquage et le scoring probabiliste).
3. Implémentation algorithmique : La présentation de l'algorithme PCE-1, une méthode de preuve de concept pour la génération de contre-factuels de prompts.
4. Validation empirique : Démonstration de la production de PCE à travers trois études de cas distinctes avec des caractéristiques de sortie et des distributions de données différentes.

Résultats : Trois études de cas

Les auteurs ont évalué le cadre en utilisant LLaMA 3.1-8B et OLMo-2-0425-1B à travers trois domaines :

1. Détection de l'orientation politique

• Configuration : Des LLM ont généré des articles de presse à partir de titres ; un classifieur a déterminé l'orientation politique (Gauche/Centre/Droite).
• Résultats : Les PCE ont identifié des mots spécifiques dans les titres (par exemple, « Netanyahu », « IMF », « Trump ») qui, lorsqu'ils sont masqués, réduisent significativement la probabilité de sortie de droite.
• Généralisabilité : Les titres contenant les 20 mots principaux identifiés par les PCE étaient nettement plus susceptibles de générer une sortie biaisée (49,8 %) par rapport aux titres aléatoires (38,3 %).
• Application : Le remplacement de ces mots identifiés par des synonymes dans le processus d'ingénierie de prompt a réduit le score de droite de 0,498 à 0,314, démontrant l'utilité des PCE pour une ingénierie de prompt consciente des biais.

2. Prédiction de la toxicité

• Configuration : En utilisant le jeu de données RealToxicityPrompts, l'étude s'est concentrée sur les générations toxiques rares.
• Résultats : Les PCE ont identifié des mots déclencheurs spécifiques (par exemple, « Confederate », « Bannon ») qui, lorsqu'ils sont masqués, réduisent la fréquence des sorties toxiques.
• Application (Red-Teaming) : La génération de nouveaux prompts utilisant des mots extraits des PCE a entraîné un taux de sortie toxique plus élevé (3,0 %) par rapport à la sélection de mots aléatoires (2,3 %), suggérant que les PCE peuvent servir de sources d'inspiration efficaces pour le red-teaming et la découverte de vulnérabilités.

3. Classification de sentiment

• Configuration : Des LLM ont généré des récits à partir de prompts de longue forme ; l'objectif était de réduire le sentiment négatif.
• Résultats : Le cadre a réussi à identifier des phrases spécifiques au sein de longs prompts qui entraînaient un sentiment négatif. Le masquage de ces phrases a souvent réduit le score de sentiment négatif moyen à presque zéro.
• Application : La paraphrase des phrases spécifiques identifiées par les PCE (plutôt que des phrases aléatoires) a entraîné une réduction plus grande du sentiment négatif (0,28 contre 0,31 pour la paraphrase aléatoire), validant la précision des explications.

Signification et affirmations

L'article positionne les PCE comme une étape fondamentale vers une interprétabilité axée sur le prompt dans l'IA générative. Les auteurs affirment que :

• Les PCE fournissent une capacité nécessaire de transparence et de responsabilité à mesure que ces modèles sont appliqués à des tâches à enjeux plus élevés.
• Ils offrent un outil pratique pour l'ingénierie de prompt, permettant aux développeurs de supprimer les caractéristiques de sortie indésirables en comprenant le lien causal entre des éléments de prompt spécifiques et le comportement du modèle.
• Ils améliorent les efforts de red-teaming en ciblant les caractéristiques d'entrée spécifiques qui déclenchent des comportements nocifs, permettant ainsi des tests de résistance plus ciblés.
• Crucialement, le travail distingue la correction technique (identifier les éléments d'entrée qui influencent causalement les caractéristiques de sortie) de l'utilité contextuelle (comment les parties prenantes utilisent cette information). L'article établit la première comme un prérequis pour la seconde.

Les auteurs reconnaissent des limites, notant que les PCE peuvent échouer à expliquer les biais inhérents à l'entraînement du modèle qui persistent indépendamment des changements de prompt, et que le coût computationnel de la génération de PCE peut être élevé pour de longs prompts. Ils suggèrent que les travaux futurs porteront sur l'optimisation de l'efficacité de la recherche et l'extension du cadre à d'autres modalités (image, audio) et aux contextes personnalisés des LLM.