🤖 AI

Homoglyph-based Adversarial Perturbation of Introductory Computer Science Theory Problems

Dieser Beitrag stellt eine Methode vor und bewertet sie, die auf homoglyphbasierten adversarialen Perturbationen beruht, um Einführungsprobleme der Informatiktheorie zu modifizieren, ohne deren semantische Bedeutung zu verändern, mit dem Ziel, zu verhindern, dass Studierende KI-Tools zur Lösung von Hausaufgaben nutzen.

Ursprüngliche Autoren: Aidan Alexander, Chitrangada Juneja, Napaluck Tontrasathien, Miro Vanek, Reyan Ahmed, Saumya Debray, Sazzadur Rahaman

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aidan Alexander, Chitrangada Juneja, Napaluck Tontrasathien, Miro Vanek, Reyan Ahmed, Saumya Debray, Sazzadur Rahaman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die Ihren Schülern eine Mathematik-Hausaufgabe geben möchte. Sie wollen, dass sie intensiv nachdenken und die Probleme selbst lösen. Doch in letzter Zeit nutzen Schüler superintelligente KI-Assistenten (wie ChatGPT oder Gemini), um die Arbeit für sie zu erledigen. Diese KI-Tools sind so gut, dass sie oft sofort Antworten liefern, selbst wenn die Fragen etwas knifflig sind.

Die Autoren dieser Arbeit haben einen cleveren Trick entwickelt, um dieses Verhalten „fauler Schüler" zu stoppen. Sie nennen es homoglyph-basierte adversarische Perturbation. Das ist eine ausgefallene Art zu sagen: „Ein paar Buchstaben in einer Frage so ändern, dass Menschen sie immer noch lesen können, die KI aber verwirrt wird und die falsche Antwort gibt."

Hier ist, wie ihre Methode funktioniert, in einfachen Schritten aufgeschlüsselt:

1. Das Problem: Die KI ist zu gut im „Raten"

Die Forscher stellten fest, dass diese KI-Tools wie Schüler sind, die das gesamte Lehrbuch auswendig gelernt haben. Wenn Sie sie nach einer klassischen Mathematikaufgabe fragen (wie „Beweisen Sie, dass das Produkt einer rationalen und einer irrationalen Zahl irrational ist"), antworten sie sofort, weil sie diese exakte Frage Millionen Mal in ihren Trainingsdaten gesehen haben.

Selbst wenn Sie versuchen, die Frage ein wenig zu verzerren – etwa indem Sie ein Wort entfernen oder eine Zahl ändern –, ist die KI so intelligent, dass sie einfach die „Lücken" basierend auf dem, was sie sich gemerkt hat, auffüllt. Es ist, als würden Sie einen Freund fragen, der ein Rezept auswendig gelernt hat: „Wie macht man einen Kuchen mit... äh... Mehl, Zucker und... [Lücke]?" Er würde einfach „Eier" sagen, ohne dass Sie es ihm sagen müssen, weil er das Rezept auswendig kennt.

2. Die Lösung: Der „Trojanisches Pferd"-Trick

Die Autoren erkannten, dass sie den Text nicht einfach nur durcheinanderwerfen konnten; die KI würde ihn korrigieren. Stattdessen verfolgten sie eine zweistufige Strategie:

Schritt A: Das Rezept leicht ändern. Zuerst nehmen sie eine Standardfrage und passen sie so an, dass sie nicht mehr im Gedächtnis der KI enthalten ist.
- Beispiel: Statt von „einer rationalen Zahl" zu sprechen, sagen sie vielleicht: „Nennen wir die Zahl 7x."
- Warum? Dies macht die Frage einzigartig. Die KI hat „7x" in diesem spezifischen Kontext noch nie gesehen, also kann sie die Antwort nicht einfach aus ihrem Gedächtnis abrufen.
Schritt B: Die optische Täuschung (Homoglyphe). Anschließend verwenden sie Homoglyphe. Das sind Zeichen, die für das menschliche Auge fast exakt wie normale Buchstaben oder Zahlen aussehen, aber tatsächlich unterschiedliche Symbole aus anderen Sprachen oder Schriftarten sind.
- Analogie: Stellen Sie sich die Zahl 7 vor. Stellen Sie sich nun ein Symbol vor, das für Ihre Augen exakt wie eine 7 aussieht, für einen Computer jedoch ein völlig anderes Zeichen ist (wie ein seltsames Symbol aus einem anderen Alphabet).
- Sie tauschen eine normale Zahl (wie 7) gegen diese „gefälschte 7" aus.

3. Das Ergebnis: Die KI wird getäuscht

Wenn die KI diese „gefälschte 7" sieht, gerät sie in Verwirrung. Sie erkennt das Symbol nicht, gerät in Panik und versucht zu raten, was es sein sollte. Da die KI aufgrund der ursprünglichen Lehrbuchfragen, die sie auswendig gelernt hat, voreingenommen ist, ignoriert sie die „gefälschte 7" und geht einfach davon aus, dass Sie die ursprüngliche „7" meinten (oder manchmal löscht sie sie einfach).

Die menschliche Erfahrung: Ein Schüler schaut auf das Blatt und sieht „7x". Er liest es korrekt und löst die Mathematikaufgabe.
Die KI-Erfahrung: Die KI sieht ein seltsames Symbol, das sie nicht versteht. Sie rät falsch, ignoriert die Mathematik und gibt eine völlig falsche Antwort.

4. Wie viele Änderungen sind nötig?

Das Beste ist, dass Sie die gesamte Frage nicht neu schreiben müssen. Die Forscher stellten fest, dass das Ändern von nur ein oder zwei Zeichen normalerweise ausreicht, um die KI zu brechen.

Wenn Sie zu viele Dinge ändern, könnte die KI das Muster tatsächlich durchschauen.
Aber wenn Sie nur eine winzige Sache ändern (wie den Austausch einer „6" gegen eine täuschend ähnliche „6"), stolpert die KI darüber, während der menschliche Schüler mühelos weiterkommt.

5. Ein Werkzeug für Lehrkräfte

Die Autoren haben nicht nur eine Arbeit verfasst; sie entwickelten ein einfaches interaktives Werkzeug.

Lehrkräfte können ihre Hausaufgabenfragen hochladen.
Sie können auf eine Zahl oder einen Buchstaben klicken, die sie ändern möchten.
Das Werkzeug zeigt ihnen eine Liste von „täuschend ähnlichen" Zeichen (Homoglyphen) an.
Sie wählen eines aus, und das Werkzeug tauscht es ein.
Jetzt ist die Hausaufgabe sicher vor KI-Betrug, bleibt aber für Schüler leicht lesbar.

Zusammenfassung

Stellen Sie sich diese Methode als eine visuelle Tarnung für eine Hausaufgabe vor. Für das menschliche Auge sieht die Aufgabe normal aus. Aber für die KI, die auf das Erkennen spezifischer Muster angewiesen ist, ist die Aufgabe nun ein Rätsel, das sie nicht lösen kann. Sie zwingt den Schüler, tatsächlich die Arbeit zu erledigen, anstatt es einem Roboter zu überlassen.

Technisches Fazit: Homoglyph-basierte adversarische Perturbation von Einführungsproblemen in der Informatiktheorie

Problemstellung
Die weit verbreitete Einführung von Large Language Models (LLMs) wie ChatGPT, Gemini und Claude stellt eine erhebliche Herausforderung für die akademische Integrität dar, insbesondere in einführenden Kursen zur Informatik und diskreten Mathematik. Studierende können diese Tools nutzen, um Aufgaben zu lösen, ohne sich mit dem Stoff auseinanderzusetzen, wodurch sie die Lernziele des Kurses nicht erreichen. Aktuelle Durchsetzungsstrategien, wie die Erkennung KI-generierter Inhalte, sind unzuverlässig und anfällig für falsche Beschuldigungen. Darüber hinaus scheitern Standard-Adversarial-Ansätze oft an modernen LLMs, da diese Modelle gegenüber einfachen Zeichen-Perturbationen robust sind; sie „reparieren" häufig modifizierte Prompts, indem sie auf aus ihren Trainingsdaten memorisierte Muster zurückgreifen, zu denen oft weit verbreitete Lehrbuchprobleme gehören.

Methodik
Die Autoren schlagen eine vierstufige Methode vor, um adversarische Perturbationen zu erzeugen, die Aufgabenaufgaben für LLMs unwirksam machen, während sie für Menschen visuell identisch bleiben. Der Ansatz basiert auf dem „faulen Studierenden-Modell", das davon ausgeht, dass Studierende Prompts direkt in LLM-Oberflächen kopieren und einfügen.

Identifikation von Verzerrungen: Die Methode beginnt mit der Identifizierung von Teilen einer Frage, bei denen das LLM eine starke Verzerrung zugunsten der ursprünglichen Trainingsdaten aufweist. Selbst wenn kritische Adjektive oder Zahlen entfernt werden, halluciniert das Modell oft die fehlenden Informationen basierend auf seiner Vertrautheit mit dem Ausgangsmaterial (z. B. das Einfügen von „rational" in einen Prompt über „von Null verschiedene Zahlen", weil das ursprüngliche Lehrbuchproblem dies enthielt).
Semantische Modifikation: Wenn die ursprüngliche Frage keine spezifischen numerischen Zeichen oder mathematischen Ausdrücke enthält, wird der Prompt so modifiziert, dass diese eingeführt werden, ohne die semantische Bedeutung oder die Schwierigkeit für einen menschlichen Studierenden zu verändern. So wird beispielsweise eine allgemeine Aussage über irrationale Zahlen umformuliert, um spezifische Variablen (z. B. $x$ und $y$ ) oder Koeffizienten (z. B. $7x$ ) einzubeziehen. Dies erzeugt eine Variante des Problems, die weniger wahrscheinlich wörtlich im Trainingsdatensatz des Modells existiert.
Auswahl von Homoglyphen: Die Autoren wählen spezifische Homoglyphen aus (Zeichen, die standardalphanumerischen Zeichen ähnlich sehen, aber unterschiedliche Unicode-Codepunkte haben), die für Menschen leicht lesbar, von LLMs jedoch nicht erkannt werden. Der Auswahlprozess umfasst das Testen, ob das LLM versagt, das Homoglyph als das beabsichtigte Zeichen zu identifizieren.
Anwendung der Perturbation: Die ausgewählten Homoglyphen werden verwendet, um Schlüsselzeichen (typischerweise numerische Koeffizienten oder an der Arithmetik beteiligte Symbole) im modifizierten Prompt zu ersetzen. Dies stört den Tokenisierungsprozess des LLM. Da das Modell das Homoglyph nicht erkennt, kann es nicht dem korrekten Token zuordnen. Folglich ignoriert das Modell entweder das pertubierte Zeichen oder ersetzt es durch ein Token, zu dem es verzerrt ist (oft das ursprüngliche Zeichen aus den Trainingsdaten), was zu einer falschen Lösung führt.

Hauptbeiträge

Adversarische Perturbationsstrategie: Ein neuartiger Ansatz, der semantische Modifikation mit Homoglyph-basierten Angriffen kombiniert, um die Robustheit moderner LLMs gegenüber einfachen Textänderungen zu umgehen.
Ausnutzung von Modellverzerrungen: Die Methode nutzt die Tendenz von LLMs aus, Prompts basierend auf memorisierten Trainingsdaten zu „reparieren", indem sie dieses Merkmal gegen das Modell wendet, indem eine modifizierte Problemstruktur eingeführt wird, die das Modell versucht, falsch zu „korrigieren".
Interaktives Werkzeug: Die Entwicklung eines benutzerfreundlichen Tools, das Dozenten ermöglicht, Homoglyph-Dateien hochzuladen, Zeichen auszuwählen und effizient pertubierte Fragen zu generieren.
Empirische Validierung: Eine systematische Evaluation unter Verwendung von 69 textbasierten Fragen aus einem Standard-Lehrplan für diskrete Mathematik (abgeleitet aus Rosen's Discrete Mathematics and Its Applications).

Experimentelle Ergebnisse
Die Studie testete die Methode an 69 rein textbasierten Hausaufgabenfragen unter Verwendung von ChatGPT und Gemini.

Wirksamkeit: Die Methode täuschte beide Modelle bei allen getesteten Fragen erfolgreich.
Effizienz: Die erforderlichen Perturbationen waren minimal. Im Durchschnitt waren für ChatGPT nur 1,54 Versuche und für Gemini 1,67 Versuche nötig, um eine erfolgreiche Perturbation zu finden.
Zeichenanzahl: Die durchschnittliche Anzahl der pro Frage pertubierten Zeichen betrug für ChatGPT etwa 3,09 und für Gemini 3,01. In vielen Fällen reichte die Perturbation eines einzelnen Zeichens (z. B. das Ändern eines numerischen Koeffizienten wie „8" in ein Homoglyph von „6"), um das Modell zum Scheitern zu bringen.
Beobachtungen zur Perturbationsdichte: Die Autoren stellten fest, dass eine übermäßige Perturbation (Ändern mehrerer Zeichen) die Wirksamkeit manchmal verringern kann, da das Modell die Homoglyphen möglicherweise als neuen gemeinsamen Faktor interpretiert, anstatt sie nicht zu erkennen. Umgekehrt lieferte eine minimale Perturbation oft bessere Ergebnisse.
Einschränkungen: Die Methode ist am effektivsten bei numerischen Zeichen, die an der Arithmetik beteiligt sind. Das Perturbieren von Zeichen, die rein als symbolische Platzhalter dienen (z. B. „0" und „1" in einer Definition einer formalen Sprache wie $\{0^n1^{2n}\}$ ), erwies sich als unwirksam.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass diese Methode einen praktischen, nicht-strafenden Abschreckungsfaktor für KI-unterstütztes Betrügen in theoretischen Informatikkursen bietet. Durch die Modifikation von Prompts, die für Menschen visuell nicht unterscheidbar, aber für LLMs semantisch verwirrend sind, können Dozenten sicherstellen, dass Studierende sich mit dem Stoff auseinandersetzen müssen, um die Probleme zu lösen. Die Autoren betonen, dass dieser Ansatz die Optionen für die Strategie „KI-generierte Inhalte untersagen" erweitert und eine proaktive Verteidigung bietet, die nicht auf unzuverlässigen Erkennungsalgorithmen beruht. Die Arbeit ist in ihrem Umfang bescheiden und konzentriert sich spezifisch auf einführende Theorieprobleme, wobei sie demonstriert, dass selbst hochrobuste LLMs durch sorgfältig ausgewählte, minimale Perturbationen kompromittiert werden können.