Résumé Technique : Apprentissage de la Chaîne de Pensée Semi-supervisé (Semi-CoT)

1. Définition du Problème

L'article traite d'une lacune dans l'application actuelle de la raison par chaîne de pensée (Chain-of-Thought ou CoT). Bien que la CoT se soit avérée efficace pour solliciter les capacités de raisonnement des grands modèles de langage (LLM) lors de l'inférence, les méthodes existantes traitent généralement les chaînes de raisonnement comme des prompts transitoires qui sont abandonnés après la génération d'une réponse finale. Par conséquent, la vaste quantité de données non étiquetées disponibles dans des domaines tels que les mathématiques et la logique reste sous-utilisée car les annotations de haute qualité pour la CoT sont coûteuses à produire manuellement.

Les auteurs définissent un nouveau cadre de problème appelé Apprentissage de la Chaîne de Pensée Semi-supervisé. L'objectif est de tirer parti d'un petit ensemble de questions étiquetées et d'un ensemble plus large de questions non étiquetées pour construire une pseudo-supervision de raisonnement. Contragent à l'apprentissage semi-supervisé standard qui génère des pseudo-étiquettes (réponses finales uniquement), ce cadre nécessite de générer une paire de pseudo-supervision complète composée d'une pseudo chaîne de raisonnement ($\hat{r}_u$) et d'une pseudo réponse ($\hat{y}_u$) pour chaque question non étiquetée ($x_u$) :
$$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$$

Le défi central est de garantir la fiabilité des chaînes générées. Un modèle peut produire une réponse correcte via une dérivation invalide, ou une réponse incorrecte via une chaîne d'apparence plausible. Par conséquent, un mécanisme est nécessaire pour filtrer les pseudo-CoT non fiables avant qu'ils ne soient utilisés comme supervision ou démonstrations.

2. Méthodologie : Cadre Semi-CoT

Les auteurs proposent Semi-CoT, un cadre minimal qui fonctionne sans ajustement des paramètres du modèle. Il fonctionne comme une méthode semi-supervisée au niveau du prompt, conçue pour tester si les questions non étiquetées peuvent fournir des signaux de raisonnement fiables. Le processus comprend trois étapes principales :

A. Génération de Pseudo-CoT

Pour chaque question non étiquetée, le LLM échantillonne $K$ chemins de raisonnement distincts (sorties CoT) en utilisant un déclencheur standard (par exemple, "Réfléchissons étape par étape"). Chaque sortie produit une trace de raisonnement et une réponse finale.

B. Porte de Fiabilité par Entropie Sémantique

Pour filtrer les générations non fiables, le cadre utilise l'entropie sémantique comme signal de sélection.

1. Normalisation : Les réponses extraites sont normalisées (par exemple, en supprimant les symboles de formatage pour les réponses numériques).
2. Clustering : Les réponses sont regroupées en clusters sémantiques.
3. Calcul de l'Entropie : L'entropie sémantique normalisée $H_{sem}(x_u)$ est calculée sur la base de la distribution de ces clusters.
   • Une faible entropie indique un haut degré d'accord entre les $K$ chemins échantillonnés.
   • Une entropie élevée indique un désaccord et une incertitude.
4. Sélection : Une pseudo-CoT n'est acceptée que si $H_{sem}(x_u) \leq \delta$, où $\delta$ est un seuil prédéfini. La pseudo-réponse acceptée est le vote majoritaire, et la pseudo chaîne de raisonnement est sélectionnée parmi les chemins menant à cette réponse majoritaire.

C. Banque de Raisonnement Pseudo et Inférence

Les pseudo-CoT acceptées sont stockées dans une banque de raisonnement pseudo $\mathcal{B}$, chacune étant marquée d'un poids de fiabilité ($w_u = 1 - H_{sem}(x_u)$). Lors de l'inférence sur une question de test :

• Le système récupère $M$ démonstrations de $\mathcal{B}$.
• Deux stratégies de récupération sont testées : Sélection Aléatoire et Récupération TF-IDF (basée sur la similitude lexicale).
• Les démonstrations récupérées sont ajoutées à la question de test en tant que prompt, et le LLM génère le raisonnement et la réponse finaux.

3. Contributions Clés

L'article apporte les contributions spécifiques suivantes :

• Formulation du Problème : Il définit l'Apprentissage de la Chaîne de Pensée Semi-supervisé, déplaçant la vision de la CoT d'une technique purement d'inférence vers une source de signaux d'apprentissage semi-supervisé.
• Proposition de Cadre : Il introduit Semi-CoT, un pipeline qui génère plusieurs pseudo-CoT, les filtre à l'aide de l'entropie sémantique, et utilise les résultats à haute confiance comme démonstrations de raisonnement.
• Preuve Empirique : Il fournit une preuve pilote que la sélection basée sur l'entropie produit des pseudo-CoT de haute précision sur plusieurs jeux de données de raisonnement arithmétique.
• Identification des Limites : Il identifie que la fiabilité de la pseudo-CoT (assurée par l'entropie) et la pertinence de la démonstration (assurée par la récupération) sont des défis distincts. Une haute précision ne garantit pas des gains de performance si les démonstrations sont non pertinentes pour la question de test.

4. Résultats Expérimentaux

Les auteurs ont mené des expériences pilotes sur quatre benchmarks de raisonnement arithmétique : AQuA, SVAMP, GSM8K et MultiArith.

Fiabilité de la Pseudo-CoT

La porte d'entropie sémantique a réussi à sélectionner des pseudo-CoT de haute qualité. La précision de la pseudo-réponse (exactitude des pseudo-réponses sélectionnées par rapport aux étiquettes d'or cachées) était de :

• MultiArith : 100 %
• AQuA : 97,14 %
• SVAMP : 96,30 %
• GSM8K : 91,36 %

Performance de la Tâche

L'impact sur la précision finale de la tâche est modeste et varie selon le jeu de données :

• SVAMP : +2 % d'amélioration par rapport à la Zero-shot CoT.
• GSM8K : +1 % d'amélioration par rapport à la Zero-shot CoT.
• AQuA : A montré un léger transfert négatif (la performance a diminué par rapport à la Zero-shot CoT), malgré une haute précision de la pseudo-réponse.
• MultiArith : Toutes les méthodes ont atteint 100 % de précision, indiquant un effet de plafond dans le cadre pilote.

Stratégie de Récupération

La comparaison entre la Sélection Aléatoire et la Récupération TF-IDF pour la sélection de démonstrations n'a montré aucune différence significative dans les sous-ensembles pilotes. Cela suggère qu'une simple similitude lexicale est insuffisante pour assurer la pertinence des pseudo-CoT par rapport à la question de test.

5. Signification et Revendications

L'article se positionne comme un rapport technique établissant un nouveau cadre de problème plutôt qu'une solution définitive. Sa signification réside dans :

1. Changement Conceptuel : Il recadre la CoT comme une forme d'auto-entraînement où le raisonnement généré par le modèle peut servir de pseudo-supervision, comblant ainsi le fossé entre le prompting au moment de l'inférence et l'apprentissage semi-supervisé.
2. Validation des Signaux : Il démontre que l'entropie sémantique est un signal viable et indépendant du modèle pour filtrer les chaînes de raisonnement fiables à partir de données non étiquetées, atteignant une haute précision sans annotation humaine.
3. Conclusion Prudente : Les auteurs concluent modestement que bien que les questions non étiquetées puissent fournir des signaux de pseudo-raisonnement fiables, la sélection fiable n'est pas suffisante pour une amélioration constante des performances. L'implémentation actuelle souligne que la pertinence de la démonstration est un facteur critique et non résolu. Les travaux futurs devront aborder des mécanismes de récupération plus forts, l'appariement de modèles de raisonnement ou l'entraînement paramétrique d'étudiants pour réaliser pleinement le potentiel de Semi-CoT.

L'article évite explicitement de prétendre que l'implémentation actuelle au niveau du prompt est une solution de pointe, notant que les gains observés sont faibles et que le transfert négatif reste un risque si la pertinence n'est pas gérée.