💬 NLP

QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions

Cet article présente QAQ, un cadre innovant de sélection de données synthétiques pour l'entraînement de modèles de génération de code, qui évalue la qualité des instructions en mesurant la cohérence sémantique bidirectionnelle et l'information mutuelle inverse (RMI) pour identifier les échantillons les plus pertinents et réduire les coûts de calcul sans compromettre les performances.

Auteurs originaux : Jiayin Lei, Ming Ma, Yunxi Duan, Chenxi Li, Tianming Yang

Publié 2026-03-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiayin Lei, Ming Ma, Yunxi Duan, Chenxi Li, Tianming Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez apprendre à un élève très intelligent (une intelligence artificielle) à coder. Pour cela, vous lui donnez des milliers d'exercices. Le problème, c'est que ces exercices ont été créés par d'autres robots, et beaucoup sont de mauvaise qualité : certains sont incompréhensibles, d'autres sont des répétitions ennuyeuses, et d'autres encore contiennent des erreurs subtiles.

C'est là qu'intervient le papier QAQ. Il propose une nouvelle façon de trier ces exercices pour ne garder que les meilleurs, en utilisant une astuce intelligente que je vais vous expliquer avec des analogies simples.

1. Le Problème : Le triage habituel est aveugle

Jusqu'à présent, les chercheurs triaient les exercices en demandant : "Est-ce que l'élève a du mal à trouver la réponse ?" (C'est ce qu'on appelle la difficulté de l'instruction).

L'analogie : C'est comme un professeur qui regarde un élève et dit : "Ah, il a eu du mal à résoudre ce problème, donc c'est un bon exercice !".
Le souci : Parfois, l'élève a du mal non pas parce que l'exercice est bien, mais parce que la question est n'importe quoi (ex: "Comment transformer une matrice 'gritty sulla' ?" alors que ce mot n'existe pas). L'exercice est faux, mais le robot pense qu'il est difficile et donc "utile".

2. La Solution QAQ : Regarder les choses à l'envers

L'équipe de recherche propose de faire l'inverse. Au lieu de demander "La question aide-t-elle à trouver la réponse ?", ils demandent : "La réponse aide-t-elle à comprendre la question ?"

L'analogie du détective : Imaginez que vous trouvez une réponse écrite sur un bout de papier (le code). Si vous pouvez lire cette réponse et dire immédiatement : "Ah, c'est la solution à ce problème précis !", alors la question et la réponse sont bien liées. C'est un bon exercice.
Si vous lisez la réponse et que vous vous dites : "Attends, ça ne correspond à rien de logique dans la question", alors c'est un exercice raté.

Ils appellent cette mesure l'Information Mutuelle Inverse (RMI). C'est un score qui dit : "À quel point la réponse éclaire-t-elle la question ?"

3. Les deux pièges à éviter (Les extrêmes)

Le papier découvre que les scores extrêmes sont dangereux, comme une balance qui penche trop d'un côté ou de l'autre :

Score trop bas (La réponse ne dit rien) :
- Analogie : C'est comme si quelqu'un vous demandait "Bonjour !" et que la réponse était "Compensé, voici comment utiliser Python". Il n'y a aucun lien. C'est du bruit.
Score trop haut (La réponse est trop facile) :
- Analogie : C'est comme si la question était "Comment faire 2+2 ?" et la réponse était "Pour faire 2+2, il faut faire 2+2". Le robot a juste répété les mots de la question (un "écho"). C'est facile à prédire, mais ça n'apprend rien de nouveau. C'est du remplissage.

La zone idéale : C'est le "juste milieu". Une question qui est un vrai défi, et une réponse qui l'explique parfaitement sans être une répétition vide.

4. L'astuce finale : Le "Fossé Cognitif" (Deux robots, un avis)

Pour être sûr de ne pas se tromper, ils utilisent deux robots :

Un Grand Robot (très intelligent).
Un Petit Robot (moins intelligent).

Ils regardent les exercices où le Grand Robot dit "C'est un excellent exercice !" mais le Petit Robot dit "Je ne comprends pas, c'est trop dur ou bizarre".

Pourquoi c'est génial ?
- Si les deux sont d'accord que c'est facile, c'est probablement un exercice trop simple (ou un piège de répétition).
- Si les deux sont d'accord que c'est dur, c'est peut-être un exercice pourri.
- Mais si le Grand Robot voit la valeur cachée que le Petit Robot rate, c'est le trésor. C'est un exercice complexe et bien construit, parfait pour faire progresser l'IA.

5. Le Résultat Magique

En utilisant cette méthode, les chercheurs ont pu :

Jeter 75% des données (le bruit, les exercices ratés, les répétitions).
Ne garder que 25% des meilleurs exercices.
Résultat : L'IA entraînée sur ces 25% de "super-exercices" a obtenu les mêmes résultats que si elle avait été entraînée sur les 100% des données brutes.

En résumé

C'est comme si vous vouliez apprendre à cuisiner. Au lieu de lire 1000 recettes (dont 750 sont illisibles ou disent juste "mélangez les ingrédients"), vous ne gardez que les 250 recettes où le chef explique exactement pourquoi chaque étape fonctionne, et où la recette est assez complexe pour vous faire progresser, mais pas impossible à comprendre.

Grâce à QAQ, on apprend plus vite, avec moins de données, et sans gaspiller de temps et d'énergie sur du matériel inutile.

1. Problématique

L'utilisation de données synthétiques est devenue la norme pour l'entraînement des modèles de génération de code. Cependant, ces données, générées sans graines humaines (seedless) par des LLMs alignés, introduisent un bruit significatif et des hallucinations difficiles à détecter avec les métriques actuelles.

Les méthodes de sélection existantes, comme IFD (Instruction-Following Difficulty), évaluent la difficulté pour un modèle de générer une réponse à partir d'une requête ( $P(A|Q)$ ). Les auteurs identifient deux limites majeures :

Ambiguïté sur les données bruyantes : Une faible probabilité peut signifier soit une complexité intrinsèque de la tâche, soit une hallucination générée par le modèle.
Négligence de la qualité de la requête : Les pipelines actuels se concentrent sur la qualité de la réponse, mais ignorent souvent que des requêtes sémantiquement incohérentes (ex: termes inventés, salutations hors contexte) fournissent peu de signal d'apprentissage, même si la réponse est techniquement correcte.

Il existe une faible corrélation ( $\rho = 0.252$ ) entre la difficulté de génération ( $A|Q$ ) et la capacité explicative d'une réponse pour prédire la question ( $Q|A$ ), suggérant que les deux directions capturent des aspects distincts de la qualité des données.

2. Méthodologie : Le Framework QAQ

Les auteurs proposent QAQ (Query, Answer-Query), un cadre de sélection de données basé sur la cohérence sémantique bidirectionnelle.

A. Information Mutuelle Inverse (RMI)

Au lieu de mesurer la difficulté de génération, QAQ mesure à quel point la réponse explique la question. Ils définissent l'Information Mutuelle Inverse (Reverse Mutual Information - RMI) comme le gain d'information que la réponse apporte sur la question :
$RMI(Q, A) = \log PPL(Q) - \log PPL(Q|A)$
Où $PPL$ est la perplexité.

Faible RMI : Indique un manque d'alignement sémantique (la réponse n'aide pas à prédire la question).
RMI excessivement élevé : Indique souvent des motifs de défauts (paraphrases triviales, écho de mots-clés) où la question devient trivialement prévisible, sans valeur d'apprentissage réelle.

B. Stratification par Complexité

Une corrélation directe entre RMI et complexité de la question ($PPL(Q)$) fausse les résultats (les questions simples ont naturellement un RMI plus bas). Pour y remédier, les auteurs proposent une RMI Stratifiée :

Le dataset est divisé en 10 bins (déciles) basés sur la complexité de la question ($PPL(Q)$).
Le classement (rank) du RMI est calculé indépendamment dans chaque bin.
Cela permet de comparer les échantillons entre eux en fonction de leur complexité similaire, éliminant ainsi le biais de difficulté intrinsèque.

C. Désaccord des Modèles (Cognitive Gap)

Les auteurs exploitent la divergence entre un modèle fort ( $M_s$ ) et un modèle faible ( $M_w$ ) pour identifier des échantillons de haute qualité.

Ils calculent les rangs RMI normalisés pour les deux modèles ( $r_s$ et $r_w$ ).
Ils définissent un signal de désaccord : $Diff = r_s - r_w$ .
Hypothèse : Les échantillons où le modèle fort attribue un RMI élevé (reconnaît la qualité) mais le modèle faible un RMI bas (trouve la tâche difficile) représentent le « Cognitive Gap ». Ces échantillons sont à la fois valides (non corrompus) et difficiles (apportent un signal d'apprentissage fort).

3. Contributions Clés

Identification du problème de la requête : Mise en évidence que les pipelines de données synthétiques sans graines négligent la qualité sémantique de la requête, pas seulement celle de la réponse.
Méthode QAQ et RMI : Introduction d'une métrique de sélection basée sur l'information mutuelle inverse ( $Q|A$ ) et la stratification, capable de filtrer à la fois les incohérences (faible RMI) et les motifs de triche (RMI trop élevé).
Signal de désaccord : Démonstration que le désaccord entre modèles forts et faibles est un indicateur supérieur pour sélectionner des données « apprenables » par rapport au consensus.
Efficacité computationnelle : Preuve qu'une sélection rigoureuse permet d'entraîner des modèles avec seulement 25 % des données tout en égalant les performances de l'entraînement sur l'intégralité du dataset.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset WarriorCoder (310k paires instruction-réponse) avec un modèle cible DeepSeek-Coder-6.7B-Base.

Performance : La sélection de 25 % des données via la méthode RMI 50-75% (la zone médiane, évitant les extrêmes) atteint des performances comparables à l'entraînement sur 100 % des données.
- HumanEval+ : 72.56 (25% de données) vs 72.56 (100% de données).
- MBPP+ : 58.47 (25% de données) vs 59.52 (100% de données).
Comparaison avec les baselines : La méthode QAQ surpasse systématiquement les méthodes existantes comme IFD, SCAR, RDS+ et le tirage aléatoire, même avec seulement 25 % des données.
Analyse des extrêmes :
- Les échantillons avec un RMI très élevé (Top 25%) contiennent des défauts (paraphrases) et sous-performent.
- Les échantillons avec un RMI très faible (Bottom 25%) sont sémantiquement incohérents et sous-performent.
Validation du désaccord : La stratégie basée sur le désaccord (Diff-High) surpasse la stratégie de consensus (Sum-High) de 3 points sur HumanEval+, confirmant que les échantillons où seul le modèle fort voit la qualité sont les plus précieux.

5. Signification et Impact

L'article propose un changement de paradigme dans la curation de données synthétiques :

Bidirectionnalité : Il démontre que la cohérence sémantique doit être évaluée dans les deux sens ( $A|Q$ et $Q|A$ ) pour une sélection robuste.
Réduction des coûts : En permettant d'atteindre des performances maximales avec un quart des données, la méthode réduit considérablement les coûts de calcul et de stockage nécessaires à l'entraînement des modèles de code.
Robustesse aux hallucinations : La capacité à détecter les motifs de « paraphrase vide » (RMI élevé mais sans substance) et les requêtes hors-sujet (RMI faible) offre un filtre plus efficace que les métriques de perplexité traditionnelles.

En conclusion, QAQ offre une voie évolutive pour améliorer la qualité des données synthétiques en exploitant la complémentarité des modèles et la cohérence sémantique inverse, sans sacrifier la capacité finale du modèle.