Die unsichtbaren Unterschiede zwischen KI-Zwillingen

Stellen Sie sich vor, Sie hätten zwei identische Zwillinge. Sie wurden im exakt gleichen Haus aufgewachsen, essen das gleiche Essen und haben die gleiche DNA. Wenn Sie ihnen eine Frage stellen, erwarten Sie, dass sie exakt dieselbe Antwort geben, Wort für Wort. In der Welt der Künstlichen Intelligenz, speziell bei Large Language Models (LLMs), ist die „DNA“ das Gewicht des Modells – die mathematische Rechenleistung, die in einer Datei gespeichert ist. Aber in der realen Welt sind die Dinge nicht so einfach. Genau wie Zwillinge unterschiedlich reagieren können, je nachdem, ob sie müde oder hungrig sind oder mit einem Freund sprechen, können KI-Modelle unterschiedliche Ergebnisse liefern, je nachdem, auf welcher Computerhardware sie laufen, wie viele Fragen sie gleichzeitig beantworten oder sogar aufgrund winziger, unsichtbarer Fehler im Softwarecode.

Um zu messen, wie verschieden zwei Dinge sind, verwenden Wissenschaftler oft ein Werkzeug namens „Total Variation Distance“ (TV). Betrachten Sie dies als einen „Mismatch-Meter“ (Fehlermesser). Wenn Sie zwei Beutel mit Murmeln haben und aus jedem eine herausziehen, gibt die TV-Distanz die maximale Wahrscheinlichkeit an, dass die beiden Murmeln unterschiedliche Farben haben. Es ist ein perfekter Wert für die Frage: „Wie wahrscheinlich ist es, dass diese zwei Dinge nicht übereinstimmen?“ Dies unterscheidet sich von anderen Werkzeugen, die versuchen zu messen, wie „überrascht“ ein Modell ist, was völlig versagen kann, wenn die Modelle sich selbst bei einem einzigen Wort uneinig sind. Die große Frage, die sich Forscher stellen, lautet: Wenn zwei Unternehmen behaupten, exakt dasselbe KI-Modell auszuführen, bieten sie Ihnen dann tatsächlich das gleiche Erlebnis, oder verbergen sich im Code verborgene Unterschiede?

Die Mission des Papers: Die Geister in der Maschine aufspüren

Dieses Paper mit dem Titel „Total Variation Distance Estimation in Autoregressive Models“ ist eine Detektivgeschichte über das Aufspüren dieser verborgenen Unterschiede. Die Autoren, ein Team der University of Texas at Austin, erkannten, dass zwei KI-Engines zwar auf dem Papier identisch aussehen mögen, die Art und Weise, wie sie tatsächlich Text generieren, jedoch durch Dinge wie „Batching“ (das gleichzeitige Beantworten vieler Fragen) oder „Quantisierung“ (das Vereinfachen von Zahlen, um Platz zu sparen) auseinanderdriften kann. Sie wollten einen zuverlässigen Weg entwickeln, um die Total Variation Distance zwischen zwei KI-Engines zu messen, um zu sehen, wie sehr sie voneinander abweichen.

Die Autoren entdeckten, dass die Messung dieser Distanz schwierig ist, da KI-Modelle Antworten nicht einfach nur ausspucken, sondern sie Wort für Wort aufbauen, wie eine Kettenreaktion. Wenn man nur das Endergebnis sieht (wie eine Stichprobe), ist das so, als würde man versuchen, die Handlung eines Films zu erraten, indem man nur die letzte Szene betrachtet. Um dieses Problem zu lösen, entwickelten sie drei verschiedene „Superkräfte“ oder Wege, um unter die Haube zu blicken, und sie fanden heraus: Je mehr man sehen kann, desto einfacher wird die Aufgabe.

1. Die „Stichproben“-Superkraft (Das blindlings Raten)
Der grundlegendste Weg, eine KI zu prüfen, besteht darin, ihr eine Frage zu stellen und zu sehen, was sie sagt. Dies wird „Sample Access“ genannt. Die Autoren fanden heraus, dass man, wenn man nur diese Sichtweise hat, der KI sehr viele Fragen stellen muss, um eine gute Messung zu erhalten. Konkret wächst die Anzahl der benötigten Fragen mit dem Quadrat der Story-Länge ($n^2$) und der Größe der „aktiven“ Liste des Vokabulars ($K$). Es ist, als versuche man, einen riesigen Wald zu kartieren, indem man einen einzigen Pfad geht; man muss ihn viele, viele Male gehen, um sicher zu sein, dass man keine verborgene Lichtung übersehen hat. Ihre Methode verbessert frühere Versuche und macht es schneller, aber es erfordert immer noch eine massive Anzahl an Abfragen.

2. Die „Logit“-Superkraft (Der Röntgenblick)
Viele KI-Systeme zeigen auch ihre „Logits“ an – das sind die Rohzahlen, die das Modell verwendet, um zu entscheiden, welches Wort als nächstes kommt, bevor es sich in eine endgültige Wahl verwandelt. Dies ist vergleichbar mit dem Einblick in den internen Denkprozess der KI. Die Autoren zeigten, dass die Aufgabe unglaublich einfach wird, wenn man Zugang zu diesen Zahlen hat. Man benötigt nur eine Anzahl an Abfragen, die linear mit der Story-Länge ($n$) wächst. Das ist ein riesiger Sprung nach vorn – wie der Wechsel vom Wandern durch den Wald zum Fliegen über den Wald in einem Helikopter. Sie bewiesen, dass dies der absolut schnellste Weg ist; man kann es nicht schneller machen als hier.

3. Die „Verrauschte Logit“-Superkraft (Das beschlagene Fenster)
Hier wird es besonders interessant. In der realen Welt sind diese „Logit“-Zahlen nicht immer perfekt. Manchmal ist der Computer beschäftigt oder die Software ist leicht fehlerhaft, und die Zahlen kommen etwas unpräzise oder „verrauscht“ zurück. Die Autoren erkannten, dass man, wenn man dieses Rauschen als eine bekannte Größe behandelt (so wie man weiß, wie neblig das eigene Fenster ist), immer noch eine hervorragende Messung erhalten kann. Sie entwickelten eine Methode, die den „blind geführten“ und den „Röntgenblick“-Ansatz fließend miteinander verbindet. Wenn das Rauschen gering ist, agiert man wie mit Röntgenblick. Wenn das Rauschen hoch ist, agiert man eher wie jemand mit Augenbinde. Dies ist das praktischste Werkzeug, da es auch dann funktioniert, wenn die KI sich nicht perfekt verhält.

Die Praxisprüfung: Das reale Duell

Um ihre Methoden zu beweisen, blieben die Autoren nicht nur im Labor. Sie richteten ein reales Experiment auf, bei dem sie zwei populäre KI-Engines, vllm und sglang, verglichen, die exakt dasselbe Modell (Qwen3-0.6B) ausführen. Sie wollten sehen, ob diese beiden Engines, die eigentlich identisch sein sollten, tatsächlich denselben Text produzieren.

Sie fanden heraus, dass die Engines sich tatsächlich unterschieden. Die Total Variation Distance zwischen ihnen betrug etwa 0,586 für eine 500 Wörter lange Geschichte. Diese Zahl repräsentiert den maximalen Unterschied in der Wahrscheinlichkeit zwischen den beiden Engines für jedes mögliche Ergebnis. In praktischen Begriffen bedeutet dies: Wenn man einen spezifischen Test durchführen würde, um die beiden Engines zu unterscheiden, würde dieser Test in etwa 59 % der Fälle erfolgreich sein. Es ist ein Maß dafür, wie unterscheidbar die beiden Engines sind, und nicht eine direkte Wahrscheinlichkeit, dass ein einzelner zufälliger Satz, der von einer der beiden generiert wurde, anders sein wird als der andere.

Die Studie enthüllte auch das Warum ihrer Unstimmigkeit. Manchmal wählte eine Engine ein Wort, das die andere Engine für unmöglich hielt (ein „Support Mismatch“), was die Distanz sprunghaft ansteigen ließ. Ein anderes Mal wählten sie dieselben Wörter, ordneten ihnen aber leicht unterschiedliche Wahrscheinlichkeiten zu. Die Autoren bemerkten auch, dass das „Rauschen“ im System variierte, je nachdem, wie die Engines konfiguriert waren. Wenn man die Engines beispielsweise aufforderte, 256 Fragen gleichzeitig zu beantworten, nahm das Rauschen zu, was die Messungen unschärfer machte. Aber ihr neuer „mehrstufiger“ Ansatz war intelligent genug, um damit umzugehen. Indem sie dieselbe Frage viele Male stellten und die Ergebnisse im Durchschnitt bildeten, konnten sie das Rauschen herausfiltern und die wahre Distanz finden.

Das Faz-it

Das Paper kommt zu dem Schluss, dass wir nun zuverlässig messen können, wie unterschiedlich zwei KI-Engines sind, selbst wenn sie auf unterschiedlicher Hardware laufen oder unterschiedliche Software-Tricks verwenden. Die Autoren bewiesen, dass es schwierig ist, dies zu messen, wenn man nur die fertigen Antworten sieht, aber es wird viel einfacher, wenn man einen Blick auf die internen Zahlen werfen kann. Vor allem zeigten sie, dass wir selbst dann ein genaues Bild erhalten können, wenn diese Zahlen etwas verrauscht sind, indem wir ihre neuen statistischen Tricks anwenden.

Dies ist von Bedeutung, da KI immer präsenter wird und Unternehmen wissen müssen, ob ihre „billige“ Version eines Modells tatsächlich dieselbe ist wie die „teure“, oder ob ein neues, schnelleres Software-Update heimlich das Verhalten der KI verändert. Die Autoren haben das Lineal geliefert, um diese unsichtbaren Unterschiede zu messen, und stellen so sicher, dass wir, wenn wir sagen, dass zwei KIs gleich sind, dies auch wirklich sind. Ihr Code ist nun für jeden frei verfügbar und macht so komplexe Mathematik zu einem praktischen Werkzeug für die Zukunft der KI.