A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

Die Studie stellt mit MetaCompress einen metamorphischen Testrahmen vor, der zeigt, dass durch Wissensdistillation komprimierte Code-Sprachmodelle die Verhaltensfidelität ihrer Lehrermodelle oft nicht tiefgehend nachahmen und dabei erhebliche, herkömmliche Genauigkeitsmetriken verdeckende Diskrepanzen aufweisen.

Das Wesentliche

🎓 Der große Lehrer und der kleine Schüler: Ein Test auf Ehrlichkeit

Stell dir vor, du hast einen genialen Professor (den sogenannten „Lehrer"-Modell), der alles über Programmieren weiß. Er kann Code schreiben, Fehler finden und Sicherheitslücken aufspüren. Aber er ist riesig, langsam und braucht extrem viel Strom – wie ein schwerer Lastwagen, der nur für eine kurze Fahrt durch die Stadt genutzt wird.

Um das Problem zu lösen, versuchen Forscher, einen kleinen, flinken Schüler (das „Schüler"-Modell) zu erschaffen. Dieser Schüler lernt vom Professor, wird aber so klein und leicht gemacht, dass er auf einem normalen Laptop oder sogar einem Handy läuft. Das nennt man Wissensdistillation.

Die Frage ist: Lernt der Schüler wirklich alles vom Professor, oder macht er nur so, als ob?

Bisher haben Forscher nur geschaut: „Macht der Schüler die richtige Antwort?" Wenn ja, war es gut. Aber diese Studie sagt: Das reicht nicht!

🔍 Das Problem: Der Schüler ist ein „Betrüger"

Die Forscher haben herausgefunden, dass der kleine Schüler zwar oft die richtige Antwort gibt, aber nicht genauso denkt wie der Professor.

Stell dir vor, du fragst beide: „Ist dieser Code unsicher?"

• Der Professor: „Ja, absolut sicher! Ich bin zu 99 % überzeugt."
• Der Schüler: „Ja, das ist unsicher." (Aber er ist sich nur zu 50 % sicher und zögert).

Solange die Frage einfach ist, sind beide einverstanden. Aber was passiert, wenn man die Frage ein bisschen verändert? Wie wenn man im Code ein Wort durch ein Synonym ersetzt (z. B. benutzer statt user)? Das ist für uns Menschen dasselbe, aber für die KI kann es verwirrend sein.

Hier kommt der Schock: Wenn man den Code ein bisschen „verdreht" (was man einen „adversarialen Angriff" nennt), fällt der Schüler viel schneller durch als der Professor.

• Der Professor bleibt ruhig und gibt die richtige Antwort.
• Der Schüler panikartig und gibt eine falsche Antwort.

Die Studie zeigt: Der Schüler imitiert den Professor nur oberflächlich. Er hat nicht die tiefe Intuition oder das „Gefühl" des Professors verinnerlicht. Er ist wie ein Schüler, der die Antworten auswendig gelernt hat, aber nicht wirklich versteht, warum sie richtig sind.

🛠️ Die Lösung: MetaCompress – Der neue Ehrlichkeits-Test

Um das zu messen, haben die Forscher ein neues Werkzeug erfunden, das sie MetaCompress nennen.

Stell dir MetaCompress wie einen Polizisten vor, der nicht nur auf die Antwort schaut, sondern auf die Art und Weise, wie sie gegeben wird.

Normalerweise prüft man nur: „Ist die Antwort A oder B?" (Das ist der alte Test).
MetaCompress macht etwas anderes: Es stellt dem Lehrer und dem Schüler die gleiche Frage und vergleicht dann:

1. Geben sie die gleiche Antwort? (Ja/Nein)
2. Sind sie sich gleich sicher? (Ist der Schüler genauso überzeugt wie der Lehrer?)
3. Wie ähnlich sind ihre „Gedanken"? (Vergleicht man die Wahrscheinlichkeiten, die im Hintergrund berechnet werden).

Das ist wie ein Spiegel-Test: Wenn der Schüler wirklich der Lehrer ist, muss er sich im Spiegel (bei der Frage) genau so verhalten wie das Original.

📊 Was haben sie herausgefunden?

Die Forscher haben das an echten Programmen getestet (z. B. um Sicherheitslücken in Software zu finden). Das Ergebnis war erschreckend:

• Der Schüler sah auf dem Papier fast so gut aus wie der Lehrer (gleiche Genauigkeit).
• Aber mit dem neuen MetaCompress-Test stellten sie fest: Bis zu 62 % der Zeit verhält sich der Schüler anders als der Lehrer!
• Der Schüler ist viel empfindlicher gegenüber kleinen Tricks oder Änderungen im Code.

Ein besonders interessanter Punkt: Selbst ein Schüler, der extra darauf trainiert wurde, robust zu sein (ein Modell namens MORPH), hat trotzdem versagt, wenn man ihn mit echten Angriffen getestet hat. Er war nicht tief genug im Inneren mit dem Lehrer verbunden.

💡 Warum ist das wichtig?

Wenn du einen kleinen KI-Assistenten auf deinem Laptop hast, der Sicherheitslücken finden soll, willst du nicht, dass er nur „so tut, als ob". Du willst, dass er so sicher und verlässlich ist wie der große Professor.

Wenn der Schüler nicht tief genug lernt, kann er im echten Leben versagen, sobald jemand den Code ein bisschen verändert (was Hacker oft tun).

Die Botschaft:
Man darf nicht nur auf die Note (die Genauigkeit) schauen. Man muss auch prüfen, ob der Schüler den Stoff wirklich verstanden hat. MetaCompress ist wie ein neuer, smarter Lehrer, der genau das prüft, bevor der Schüler auf den Markt kommt.

Zusammenfassung in einem Satz:

Der kleine KI-Schüler macht oft die richtige Hausaufgabe, aber wenn man ihn ein bisschen stresst, zeigt sich, dass er nicht wirklich so klug ist wie sein großer Lehrer – und das neue Werkzeug MetaCompress kann genau diese Lücke aufdecken, bevor es zu spät ist.

Technische Zusammenfassung

Problemstellung

Transformer-basierte Sprachmodelle für Code (z. B. CodeBERT, GraphCodeBERT) haben zwar State-of-the-Art-Ergebnisse in Software-Analyse-Aufgaben wie Klonerkennung und Schwachstellenvorhersage erzielt, sind jedoch aufgrund hoher Rechenkosten, langsamer Inferenzgeschwindigkeit und erheblicher Umweltauswirkungen schwer in ressourcenbeschränkten Umgebungen (z. B. Consumer-Laptops) einzusetzen.
Um dies zu lösen, wird Wissensdistillation (Knowledge Distillation, KD) eingesetzt, bei der ein großes „Lehrer"-Modell in ein kleines, effizientes „Schüler"-Modell komprimiert wird.
Das Kernproblem: Die aktuelle Evaluierung von KD-basierten Modellen stützt sich fast ausschließlich auf genauigkeitsbasierte Metriken (Accuracy). Diese zeigen zwar, dass der Schüler ähnliche Aufgabenleistung wie der Lehrer erzielt, geben aber keinen Aufschluss darüber, ob der Schüler das tiefgreifende Vorhersageverhalten und die internen Repräsentationen des Lehrers wirklich nachahmt. Es besteht die Gefahr, dass Schülermodelle zwar korrekte Ergebnisse liefern, aber bei kleinen Eingabeänderungen (z. B. Adversarial Attacks) völlig anders reagieren als der Lehrer, was zu mangelnder Robustheit und Zuverlässigkeit führt.

Methodik

Die Autoren verfolgen einen zweistufigen Ansatz:

1. Empirische Untersuchung der Robustheit:

   • Es wurde untersucht, ob Schülermodelle unter Adversarial Attacks (gezielte, semantik-erhaltende Manipulationen von Code-Identifikatoren) ähnlich robust sind wie ihre Lehrer.
   • Es wurden verschiedene KD-Techniken (Compressor, AVATAR, MORPH) auf CodeBERT und GraphCodeBERT angewendet.
   • Die Angriffe (ALERT, MHM, WIR-Random, CODA) wurden durchgeführt, um die Attack Success Rate (ASR) zu messen.

2. Entwicklung von MetaCompress (Metamorphisches Testing):

   • Da keine „Ground Truth" für das ideale Verhalten des Lehrers bei jeder Eingabe bekannt ist (Orakel-Problem), wurde ein Metamorphisches Test-Framework (MetaCompress) entwickelt.
   • Statt Eingaben zu transformieren, werden die Ausgaben von Lehrer und Schüler auf denselben Eingaben direkt verglichen.
   • Es wurden vier Metamorphe Relationen (MRs) definiert, um Verhaltensunterschiede zu quantifizieren:
     • MR1 (Vorhersage-Übereinstimmung): Stimmen die Top-1-Klassenbezeichnungen überein?
     • MR2 (Wahrscheinlichkeitsverteilungs-Ähnlichkeit): Wie ähnlich sind die Ausgabe-Wahrscheinlichkeitsverteilungen (gemessen via KL-Divergenz)?
     • MR3 (Erhalt hoher Konfidenz): Behält der Schüler die hohe Konfidenz des Lehrers bei sicheren Eingaben bei?
     • MR4 (Kalibrierungs-Ausrichtung): Entspricht die empirische Genauigkeit in Konfidenz-Bins der des Lehrers?

Wichtige Ergebnisse

Die Studie liefert folgende zentrale Erkenntnisse:

• Fehlende tiefe Nachahmung: Obwohl Schülermodelle in der Genauigkeit (Accuracy) oft nur minimal (unter 3 %) hinter den Lehrern zurückbleiben, zeigen sie unter Adversarial Attacks eine bis zu 285 % höhere Performance-Degradation. Dies beweist, dass sie die internen Entscheidungsstrukturen des Lehrers nicht tiefgreifend gelernt haben.
• Limitationen traditioneller Metriken: Herkömmliche Genauigkeitsmetriken verdecken diese Diskrepanzen vollständig.
• MetaCompress-Effektivität: Das Framework deckt signifikante Verhaltensunterschiede auf, die sonst unsichtbar blieben:
  • Bis zu 62 % Verletzungsraten bei der Metamorphen Relation MR3 (Konfidenz-Erhalt) wurden bei Schwachstellenvorhersage-Aufgaben festgestellt.
  • Bei der Klonerkennung waren die Abweichungen geringer, aber bei der Schwachstellenvorhersage (Vulnerability Prediction) traten massive Diskrepanzen in den Wahrscheinlichkeitsverteilungen (MR2) und Kalibrierungen (MR4) auf.
  • Selbst wenn sowohl Lehrer als auch Schüler auf transformierten Eingaben getestet wurden, blieb die Diskrepanz bestehen, was die Robustheit von MetaCompress unterstreicht.
• Einfluss der KD-Methoden: Modelle, die mit AVATAR komprimiert wurden, zeigten oft höhere Verletzungsraten als solche von MORPH oder Compressor, obwohl MORPH explizit Robustheit als Optimierungsziel hatte. Dies deutet darauf hin, dass aktuelle KD-Methoden die Verhaltensfidelität nicht ausreichend garantieren.

Hauptbeiträge

1. Erkenntnisgewinn: Der Nachweis, dass traditionelle Genauigkeitsmetriken unzureichend sind, um die Verhaltensfidelität zwischen Lehrer- und Schülermodellen zu bewerten, insbesondere im Hinblick auf Adversarial Robustness.
2. Technik (MetaCompress): Einführung eines neuartigen, output-basierten metamorphen Test-Frameworks mit vier spezifischen Relationen zur systematischen Evaluierung der Verhaltensfidelität.
3. Umfassende Evaluation: Eine breite empirische Studie über zwei Aufgaben (Klonerkennung, Schwachstellenvorhersage), zwei Modelle und drei KD-Techniken, die zeigt, dass MetaCompress bis zu 62 % der Verhaltensunterschiede aufdeckt, die Accuracy-Metriken übersehen.
4. Open Science: Die Veröffentlichung des Replikationspakets zur Transparenz und Reproduzierbarkeit.

Bedeutung und Implikationen

• Für die Praxis: MetaCompress bietet einen praktischen Weg, um vor dem Deployment zu prüfen, ob ein komprimiertes Modell zuverlässig genug ist. Für sicherheitskritische Anwendungen (z. B. Schwachstellenerkennung) sollten Modelle mit hohen Verletzungsraten in den metamorphen Relationen nicht eingesetzt werden, selbst wenn ihre Accuracy hoch ist.
• Für die Forschung: Die Ergebnisse zeigen, dass aktuelle KD-Methoden oft nur die Endvorhersage, aber nicht die Entscheidungswege oder Konfidenzverteilungen des Lehrers übertragen. Dies fordert neue Ansätze in der Wissensdistillation, die z. B. Zwischenrepräsentationen oder Robustheitsziele stärker einbeziehen.
• Paradigmenwechsel: Die Arbeit positioniert die Evaluierung von komprimierten Modellen als klassisches Software-Testproblem (Orakel-Problem) und etabliert metamorphes Testing als essenzielles Werkzeug für die Qualitätssicherung von LLMs im Code-Bereich.

Zusammenfassend demonstriert das Paper, dass „klein" nicht automatisch „gut" bedeutet, wenn es um das tiefe Verständnis und die Robustheit von KI-Modellen geht, und liefert mit MetaCompress das Werkzeug, um diese Lücke zu messen und zukünftig zu schließen.