💬 NLP

QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions

Die Arbeit stellt QAQ vor, ein neues Framework zur Auswahl hochwertiger synthetischer Code-Daten, das durch die Messung der bidirektionalen semantischen Kohärenz mittels Reverse Mutual Information (RMI) und einer Disagreement-Strategie zwischen starken und schwachen Modellen eine signifikante Leistungssteigerung bei gleichzeitiger Reduzierung des Trainingsdatensatzes um 75 % ermöglicht.

Ursprüngliche Autoren: Jiayin Lei, Ming Ma, Yunxi Duan, Chenxi Li, Tianming Yang

Veröffentlicht 2026-03-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiayin Lei, Ming Ma, Yunxi Duan, Chenxi Li, Tianming Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🤖 Die Geschichte vom „Koch und dem Rezept"

Stell dir vor, du möchtest einen Weltmeister-Koch (eine künstliche Intelligenz) darin unterrichten, die besten Gerichte der Welt zu kochen. Du hast einen riesigen Haufen von Kochbüchern (Daten), aber das Problem ist: Diese Bücher wurden nicht von Menschen geschrieben, sondern von anderen Robotern generiert.

Das ist wie bei synthetischen Daten. Sie sind in riesigen Mengen verfügbar, aber oft voller Unsinn.

Das Problem: Der „Halluzinierende" Koch

Bisher haben Forscher versucht, die besten Rezepte auszuwählen, indem sie schauten: „Wie schwer ist es für den Koch, dieses Gericht zu kochen, wenn er das Rezept liest?" (Das nennt man IFD).

Aber das funktioniert nicht gut bei synthetischen Daten. Stell dir zwei schlechte Fälle vor:

Der „Echo"-Koch: Ein Rezept sagt: „Koche einen glitschigen Sulla-Matrix-Kuchen." Das Wort „Sulla-Matrix" existiert gar nicht! Der Koch antwortet: „Hier ist ein glitschiger Sulla-Matrix-Kuchen." Er wiederholt nur die Unsinnswörter. Für den alten Test sieht das gut aus (der Koch kann das Rezept „verstehen"), aber es bringt nichts zu lernen.
Der „Verwirrte" Koch: Jemand fragt: „Hallo!" und der Koch antwortet mit einer langen Anleitung zum Backen von Brot. Das passt gar nicht zusammen.

Die alten Methoden konnten diese Fehler oft nicht erkennen.

Die Lösung: QAQ – „Die Antwort erklärt die Frage"

Die Forscher von QAQ haben eine geniale Idee gehabt. Statt zu fragen: „Wie schwer ist das Rezept?", fragen sie: „Wenn ich dir das fertige Gericht zeige, kannst du dann das ursprüngliche Rezept erraten?"

Das nennen sie Reverse Mutual Information (RMI).

Gutes Beispiel: Du zeigst ein perfektes, komplexes Lasagne-Gericht. Ein guter Koch kann sofort sagen: „Ah, das muss ein Rezept mit Schichten aus Nudeln, Hackfleisch und Béchamel gewesen sein!" Die Antwort (das Gericht) erklärt die Frage (das Rezept) perfekt. Das ist ein gutes Datenpaar.
Schlechtes Beispiel (Echo): Du zeigst einen „glitschigen Sulla-Matrix-Kuchen". Der Koch kann das Rezept erraten, weil das Gericht nur aus den Unsinnswörtern besteht. Das ist zu einfach und bringt nichts.
Schlechtes Beispiel (Verwirrung): Du zeigst ein Brot. Der Koch kann nicht erraten, ob das Rezept „Hallo" oder „Backe Brot" war. Die Antwort erklärt die Frage nicht.

Der Trick: Die „Kognitive Lücke" (Cognitive Gap)

Jetzt kommt der spannendste Teil. Die Forscher nutzen zwei verschiedene Köche:

Einen Meisterkoch (ein sehr starkes KI-Modell).
Einen Lehrling (ein schwaches KI-Modell).

Sie schauen sich an, wie beide auf die Daten reagieren:

Wenn beide sagen: „Das ist super!", ist es oft nur ein einfaches Echo (wie das „Sulla-Matrix"-Beispiel). Beide erkennen das Muster zu leicht.
Wenn beide sagen: „Das ist Müll!", ist es wirklich Müll.
Der Goldesel: Wenn der Meisterkoch sagt: „Das ist ein geniales, komplexes Gericht!" aber der Lehrling sagt: „Ich verstehe das nicht, das ist zu schwer!", dann haben wir einen Gewinner gefunden!

Diese Daten sind wertvoll, weil sie für den Lehrling eine echte Herausforderung sind (man lernt daraus!), aber für den Meisterkoch logisch und korrekt sind (man lernt nichts Falsches).

Das Ergebnis: Weniger Arbeit, bessere Ergebnisse

Die Forscher haben getestet, was passiert, wenn sie nur die besten 25 % der Daten auswählen (basierend auf dieser „Kognitive Lücke"-Methode).

Das Ergebnis ist erstaunlich:

Ein Koch, der nur mit diesen 25 % der besten Daten trainiert wurde, ist genauso gut wie einer, der den ganzen riesigen Haufen (100 %) durchgearbeitet hat.
Er ist sogar besser als Koch, der nach den alten Methoden ausgewählt wurde.

Zusammenfassung in einem Satz

Statt blindlings zu versuchen, alle Daten zu lernen, hat QAQ einen cleveren Filter erfunden, der nach Daten sucht, die sofort verständlich für einen Experten, aber noch eine spannende Herausforderung für einen Anfänger sind – und ignoriert dabei alles, was nur Unsinn oder zu einfach ist.

Das spart enorme Rechenzeit und Kosten, macht die KI aber schlauer.

1. Problemstellung

Synthetische Daten sind für das Training von Code-Generierungsmodellen unverzichtbar geworden, insbesondere durch „seedless"-Methoden (wie Magpie oder WarriorCoder), die direkt mit großen Sprachmodellen (LLMs) diverse Instruktions-Antwort-Paare generieren. Diese Datenmengen enthalten jedoch erhebliches Rauschen und Halluzinationen, die mit herkömmlichen Metriken schwer zu erkennen sind.

Das Hauptproblem liegt in der Qualitätssicherung:

Fehlermodi: Es gibt zwei häufige Fehlerarten, die oberflächliche Metriken übersehen:
1. Semantische Fehlausrichtung (Low Alignment): Anfragen mit erfundenen Begriffen (z. B. „konvertiere eine grittily sulla Matrix"), auf die das Modell syntaktisch korrekten, aber sinnlosen Code generiert, der die Begriffe nur wiederholt.
2. Themenfremde Anfragen: Anfragen, die nichts mit Code zu tun haben (z. B. „Hi!"), gepaart mit inkohärenten Antworten.
Limitierung bestehender Methoden: Herkömmliche Auswahlmethoden wie Instruction-Following Difficulty (IFD) bewerten die Schwierigkeit, eine Antwort ( $A$ ) basierend auf einer Anfrage ( $Q$ ) zu generieren ( $P(A|Q)$ ). Dies ist jedoch bei synthetischen Daten mehrdeutig: Eine niedrige Wahrscheinlichkeit kann sowohl hohe Komplexität als auch Halluzinationen bedeuten. Zudem ist die Richtung $A|Q$ nicht symmetrisch zur Richtung $Q|A$ aufgrund der autoregressiven Natur von LLMs.

2. Methodik: QAQ Framework

Die Autoren schlagen QAQ (Query, Answer-Query) vor, einen neuen Rahmen zur Datenauswahl, der die Datenqualität aus der umgekehrten Richtung bewertet: Wie gut kann die Antwort ( $A$ ) die Anfrage ( $Q$ ) vorhersagen?

A. Reverse Mutual Information (RMI)

Statt die Generierungsschwierigkeit zu messen, wird die Reverse Mutual Information definiert als:
$RMI(Q, A) = \log PPL(Q) - \log PPL(Q|A)$

$PPL(Q)$: Perplexität der Anfrage allein.
$PPL(Q|A)$: Perplexität der Anfrage, bedingt durch die Antwort (berechnet durch eine „Reverse Generation"-Aufgabe, bei der das Modell die Frage basierend auf der Antwort generieren soll).
Interpretation:
- Hoher RMI: Die Antwort macht die Frage leicht vorhersagbar (starke semantische Kohärenz).
- Niedriger RMI: Die Antwort liefert wenig Information über die Frage (semantische Fehlausrichtung).
- Extrem hoher RMI: Kann auf Defektmuster hindeuten (z. B. einfaches Paraphrasieren oder Wiederholen von Schlüsselwörtern), die für LLMs trivial sind.

B. Stratifizierte RMI (Stratified RMI)

Da einfache Fragen naturgemäß eine niedrige Perplexität und damit niedrigere RMI-Werte haben, würde eine globale Filterung valide, aber einfache Fragen fälschlicherweise entfernen.

Lösung: Das Dataset wird in $K=10$ Bins basierend auf der Komplexität der Frage ($PPL(Q)$) unterteilt.
Die RMI-Rangliste wird innerhalb jedes Bins berechnet und normalisiert. Dies stellt sicher, dass Proben nur mit anderen Proben ähnlicher Komplexität verglichen werden.

C. Modell-Disagreement (Kognitive Lücke)

Die Autoren nutzen die Diskrepanz zwischen einem starken Modell ( $M_s$ , z. B. DeepSeek-Coder-6.7B) und einem schwachen Modell ( $M_w$ , z. B. Qwen3-0.6B) als Selektionssignal.

Signal: $Diff = r_s - r_w$ (Differenz der normalisierten RMI-Ränge).
Hypothese: Proben, bei denen das starke Modell einen hohen RMI-Rang erkennt (validiert die Qualität), das schwache Modell aber einen niedrigen Rang hat (erkennbar als herausfordernd), repräsentieren die beste Lernsignale. Diese werden als „Cognitive Gap" bezeichnet.
Strategie: Es werden nur Proben mit $Diff > \tau$ (ca. 25 % der Daten) ausgewählt. Dies filtert sowohl die „einfachen" Defektmuster (die beide Modelle erkennen) als auch die unverständlichen Daten (die beide Modelle ablehnen) heraus.

3. Wichtige Beiträge

Neue Perspektive: Identifikation, dass seedlose synthetische Datenpipelines die Qualität der Anfrage (Query Quality) vernachlässigen. QAQ misst die „Erklärungskraft" der Antwort ( $Q|A$ ) statt der Generierungsschwierigkeit ( $A|Q$ ).
RMI als Qualitätsindikator: Empirischer Nachweis, dass RMI-Extremwerte (sehr niedrig oder sehr hoch) auf Qualitätsprobleme hinweisen und durch Stratifizierung und Filterung entfernt werden können.
Modell-Disagreement: Einführung der Diskrepanz zwischen starken und schwachen Modellen als Selektionssignal, um Proben mit hohem „kognitiven Abstand" zu identifizieren, die für das Training besonders wertvoll sind.
Effizienz: Demonstration, dass die Auswahl von nur 25 % der Daten mittels dieser Methode zu Ergebnissen führt, die dem Training mit dem gesamten Dataset entsprechen.

4. Ergebnisse

Die Methode wurde auf dem WarriorCoder-Dataset (ca. 310.000 Proben) getestet und auf Benchmarks wie HumanEval, HumanEval+, MBPP und MBPP+ evaluiert.

Leistung: Das mit stratifiziertem RMI ausgewählte 25 %-Subset (insbesondere der Bereich 50–75 % des RMI-Ranges) erreicht auf HumanEval+ (72,56) und MBPP+ (58,47) Ergebnisse, die mit dem Training auf 100 % der Daten (72,56 / 59,52) vergleichbar sind.
Vergleich mit Baselines:
- QAQ (RMI 50-75 %) übertrifft bestehende Methoden wie IFD, SCAR und zufällige Auswahl (Random) signifikant.
- IFD (Instruction-Following Difficulty) erreicht bei 25 % Daten nur 66,46 auf HumanEval+, während QAQ 72,56 erreicht.
Analyse der Extreme:
- Top-25 % (Extrem hoher RMI): Schlechte Leistung, da hier oft Paraphrasierungs-Defekte vorliegen (die Antwort wiederholt nur die Frage).
- Bottom-25 % (Extrem niedriger RMI): Schlechte Leistung aufgrund semantischer Fehlausrichtung.
- Sweet Spot (Mitte): Der Bereich mittlerer RMI-Werte enthält die besten Proben mit echter semantischer Kohärenz ohne trivialen Wiederholungen.
Stabilität: Die RMI-Ranglisten sind über das Training hinweg stabil ( $\rho = 0,95$ ), was eine einmalige Vorauswahl ermöglicht.

5. Bedeutung und Fazit

Das Paper zeigt, dass die bidirektionale semantische Kohärenz (sowohl $A|Q$ als auch $Q|A$ ) entscheidend für die Kuratierung synthetischer Daten ist.

Kosteneffizienz: Durch die Auswahl von nur 25 % der Daten können die Rechenkosten für das Training drastisch gesenkt werden, ohne die Modellleistung zu beeinträchtigen.
Qualitätsfilter: Die Kombination aus Reverse Mutual Information und Modell-Disagreement bietet einen skalierbaren Weg, um Rauschen und Halluzinationen in synthetischen Datensätzen zu eliminieren, die mit herkömmlichen Metriken unentdeckt bleiben.
Zukunft: Der Ansatz öffnet Türen für Anwendungen in anderen Domänen jenseits von Code-Generierung und für dynamische Curriculum-Learning-Strategien.

Zusammenfassend stellt QAQ einen Paradigmenwechsel dar: Anstatt nur zu fragen „Wie schwer ist es, die Antwort zu generieren?", fragt es „Wie gut erklärt die Antwort die Frage?" und nutzt die Differenz in der Wahrnehmung verschiedener Modelle, um die wertvollsten Lernbeispiele zu isolieren.