Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine Geschichte zu schreiben, aber anstatt ihn wie ein Mensch Wort für Wort schreiben zu lassen, geben Sie ihm eine leere Seite, auf der jedes Wort hinter einer „MASK“ verborgen ist. Die Aufgabe des Roboters ist es, die ganze Seite zu überblicken, zu erraten, welche Wörter in die Lücken gehören sollten, und sie dann eines nach dem anderen langsam zu enthüllen. So funktioniert ein Typ von KI namens „Diffusion Language Model“. Es ist wie ein Spiel „Rate das Wort“, das rückwärts gespielt wird, bei dem die KI mit völliger Verwirrung beginnt und allmählich das Bild klärt.

Um dieses Spiel schneller und intelligenter zu machen, nutzen Forscher einen Trick namens „Soft-Masking“. Anstatt dass der Roboter einfach nur sagt: „Ja, ich bin sicher, dieses Wort ist ‚Katze‘“ oder „Nein, lass es maskiert“, darf er sagen: „Ich bin mir zu 80 % sicher, dass es ‚Katze‘ ist, und zu 20 % sicher, dass es ‚Hund‘ ist“. Er vermischt diese Vermutungen, um einen neuen, unscharfen Hinweis für die nächste Runde zu erstellen. Die große Frage, die dieses Paper behandelt, lautet: Wie vermischt man diese Vermutungen mathematisch? Die meisten Menschen haben es bisher auf die altmodische Art gemacht, als wäre das Gehirn des Roboters eine flache, gerade Karte. Aber was, wenn das Gehirn des Roboters eigentlich wie ein riesiger, gekrümmter Globus geformt ist?

---

Das Rätsel um das „Verlorengehen in der Interpolation“

Die Autoren dieses Papers, ein Team vom Indian Institute of Technology Roorkee, beschlossen, die Form des „Gehirns“ innerhalb dieser KI-Modelle zu untersuchen. Sie entdeckten, dass die Art und Weise, wie diese Modelle Wörter speichern, nicht flach wie ein Blatt Papier ist, sondern tatsächlich gekrümmt, wie die Oberfläche einer Kugel.

Stellen Sie sich das Vokabular der KI wie einen riesigen, unsichtbaren Globus vor. Jedes Wort ist ein Punkt auf der Oberfläche dieser Kugel. Wenn die KI eine Vermutung anstellt, zeigt sie auf einen Punkt auf diesem Globus. Das Problem ist, dass die Standardmethode zum Mischen von Vermutungen (genannt „Linear Interpolation“ oder LERP) den Globus wie eine flache Karte behandelt. Wenn Sie eine gerade Linie zwischen zwei Städten auf einer flachen Karte ziehen, könnten Sie direkt durch das Zentrum der Erde führen. Aber wenn Sie auf der Oberfläche des Globus wandern, müssen Sie der Krümmung des Bodens folgen. Das Paper zeigt, dass die Standardmethode die KI dazu zwingt, durch das Zentrum der Erde zu gehen, was ein seltsamer, unnatürlicher Pfad ist, der die KI verwirrt und verlangsamt.

Die Entdeckung des „Verlorengehens in der Interpolation“

Die Forscher fanden heraus, dass die KI „verlorengeht“, wenn sie versucht, ihre Vorhersagen mit der alten, flachen Methode zu mischen. Sie maßen den Winkel zwischen dem „maskierten“ Zustand (der Leerstelle) und dem „vorhergesagten“ Zustand (der Vermutung) und stellten fest, dass dieser während des gesamten Trainingsprozesses konstant bei 73 Grad bleibt. Sie bemerkten auch, dass die „Größe“ (oder Norm) der Wortvektoren fast exakt gleich bleibt, unabhängig davon, wie häufig oder selten das Wort ist. Diese beiden Hinweise sind wie Fußabdrücke, die beweisen, dass die KI auf einer Hypersphäre (einer mehrdimensionalen Kugel) wandert, nicht auf einer flachen Ebene.

Da die KI auf einer Sphäre lebt, argumentieren die Autoren, dass die Verwendung gerader Linien zum Mischen von Informationen das falsche Werkzeug ist. Es ist, als würde man die Entfernung zwischen New York und London mit einem Lineal messen, das auf einen Tisch gelegt wurde, anstatt mit einer Schnur, die um einen Globus gewickelt ist.

Die Lösung: Spherical Soft-Masking (S-SM)

Um dies zu beheben, erfand das Team eine neue Methode namens Spherical Soft-Masking (S-SM). Anstatt eine gerade Linie durch das Zentrum der Erde zu ziehen, zwingt S-SM die KI, entlang der Oberfläche des Globus zu wandern.

So haben sie es gemacht:

1. Der Gang auf dem Globus: Anstatt die Vermutungen auf einer geraden Linie zu mitteln, verwendeten sie einen speziellen mathematischen Trick namens „Fréchet-Mittelwert“, um den durchschnittlichen Punkt auf der Oberfläche der Sphäre zu finden.
2. Die gekrümmte Mischung: Sie verwendeten eine Technik namens SLERP (Spherical Linear Interpolation). Stellen Sie sich eine Schnur vor, die straff zwischen zwei Punkten auf einem Ballon gespannt ist; SLERP folgt dieser Schnur entlang der Krümmung des Ballons und verlässt die Oberfläche nie.
3. Das Ergebnis: Sie testeten diese neue Methode an einem KI-Modell mit 169 Millionen Parametern. Die Ergebnisse waren beeindruckend. Die neue Methode funktionierte nicht nur; sie funktionierte besser.

Was die Zahlen sagen

Das Team testete seine neue S-SM-Methode gegen den alten Standard (TopK/LERP) und eine Version ohne jegliches Feedback. Sie testeten dies mit unterschiedlichen Mengen an „Denkzeit“ (genannt NFE-Budgets, von 64 bis 512 Schritte).

• Bessere Qualität: Die neue Methode produzierte Texte, die der menschlichen Schreibweise viel näher kamen. Sie maßen dies mit einem Score namens MAUVE. Bei höheren Budgets (wie 512 Schritten) verbesserte S-SM den MAUVE-Score um bis zu das 2-Fache im Vergleich zur alten Methode und um 27,5 % bis 56,1 % im Vergleich zum Standard-TopK/LERP-Ansatz.
• Weniger Fehler: Die KI machte weniger verwirrende Fehler. Die „generative Perplexity“ (ein Maß dafür, wie überrascht die KI von ihrem eigenen Text ist) sank um 16,9 % bis 19,6 % im Vergleich zum Baseline-Modell.
• Keine Kompromisse: Normalerweise gilt: Wenn man eine KI intelligenter macht, wird sie weniger kreativ (sie wiederholt sich). Aber die Autoren fanden heraus, dass S-SM die „Entropie“ (ein Maß für Kreativität und Zufälligkeit) exakt auf dem Niveau der alten Methoden hielt. Sie wurde intelligenter, ohne langweilig zu werden.

Warum der alte Weg scheiterte

Das Paper schließt explizit die Idee aus, dass die flache, gerade Linienmethode nur „okay“ oder „gut genug“ sei. Die Daten legen nahe, dass sie für diesen Typ von KI fundamental falsch ist. Als die Forscher das „Vertrauensgewicht“ (eine Zahl, die die KI lernt, um zu entscheiden, wie sehr sie ihren eigenen Vermutungen vertraut) betrachteten, sahen sie etwas Interessantes. Unter der neuen S-SM-Methode lernte die KI, ihrem geometrischen Feedback viel mehr zu vertrauen, wobei sie sich auf ein Gewicht von etwa 0,056 einpendelte, während die alte Methode ihr nur bei 0,030 vertraute. Dies deutet darauf an, dass die KI sich „sicherer fühlte“, wenn sie nicht gezwungen wurde, durch das Zentrum der Erde zu wandern.

Das Fazit

Dieses Paper schlägt nicht nur eine neue Idee vor; es liefert starke Beweise dafür, dass die Geometrie der KI-Gehirne sphärisch ist und dass wir die falsche Mathematik verwendet haben, um mit ihnen zu kommunizieren. Durch den Wechsel von geraden Linien zu gekrümmten Pfaden (SLERP) zeigten die Autoren, dass wir diese Modelle dazu bringen können, besseren Text schneller zu generieren, ohne ihren Funken zu verlieren. Es ist eine Erinnerung daran, dass man manchmal aufhören muss, in einer geraden Linie zu gehen, und stattdessen der Krümmung folgen muss, um voranzukommen.