Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Bild einer belebten Stadtstraße zu zeichnen. Sie zeigen ihm tausende Fotos der Straße bei Tag, und er lernt perfekt, wie man Autos, Fußgänger und Ampeln zeichnet. Aber dann bitten Sie ihn, dieselbe Straße bei Nacht zu zeichnen. Obwohl der Roboter ein Genie darin ist, die Tagesszene zu zeichnen, versagt er bei der Nachtszene kläglich. Er zeichnet immer wieder Sonnen statt Straßenlampen und vergisst, dass Menschen Mäntel tragen. Dies ist das Problem des „Distribution Drift“: Die Welt verändert sich, aber die Trainingsdaten des Roboters bleiben in der Vergangenheit stecken.

Diese Arbeit befasst sich mit einer spezifischen, hochtechnologischen Version dieses Problems, die „temporale Graphen“ betrifft. Denken Sie bei einem Graphen nicht an ein Diagramm, sondern an eine Momentaufnahme eines sozialen Netzwerks oder eines Kommunikationssystems zu einem bestimmten Zeitpunkt. Ein „temporaler Graph“ ist im Grunde ein Film aus diesen Schnappschüssen, der zeigt, wie Verbindungen über die Zeit entstehen und brechen. Wissenschaftler nutzen spezielle KI-Modelle, um den nächsten Frame dieses Films basierend auf den vorherigen zu berechnen. Die große Frage ist: Wenn die KI die Regeln des Films für die erste Hälfte lernt, kann sie dann immer noch die zweite Hälfte vorhersagen, wenn sich die Handlung plötzlich ändert? Und wenn nicht, können wir einfach die neuen Frames „beobachten“, während sie eintreffen, und der KI sagen: „Hey, die Regeln haben sich geändert, passe dein Zeichnen an!“?

Die Autoren dieser Arbeit, ein Team der Tianjin University und der Hangzhou Dianzi University, geben eine überraschende und etwas enttäuschende Antwort. Sie beweisen, dass es für diese spezifischen Arten von KI-Modellen mathematisch unmöglich ist, allein durch das Beobachten der neu eintreffenden Daten und den Versuch, das Modell basierend auf dem, was man sieht, zu korrigieren, gute Ergebnisse zu erzielen. Sie zeigen, dass die KI bei der neuen Aufgabe schlechter wird, je mehr sie versucht, die alte Aufgabe zu perfektionieren, und dass kein noch so intensives „Blicken in die Vergangenheit“ die Zukunft heilen kann.

Die „Sharpening-Drift“-Falle

Die Forscher entdeckten einen seltsamen Zielkonflikt, den sie die „Sharpening-Drift-Spannung“ nennen. Stellen Sie sich vor, Sie sind ein Schüler, der für eine Geschichtsprüfung über die 1920er Jahre lernt. Sie lernen so hart, dass Sie jedes Detail dieses Jahrzehnts perfekt auswendig wissen. Aber dann ändert sich die Prüfung zur Ära der 1930er Jahre. Je perfekter Sie die 1920er Jahre kennen, desto mehr kämpfen Sie mit den 1930er Jahren.

In ihren Experimenten stellten die Forscher fest, dass die Leistung des KI-Modells bei der „Deployment-Periode“ (den 1930er Jahren) sank, je besser es die „Trainingsperiode“ (die 1920er Jahre) vorhersagte. Es war nicht nur ein wenig schlechter; es war ein direkter, mathematischer Zielkonflikt. Sie fanden eine „Potenzgesetz“-Beziehung (Power Law): Für jeden Schritt, in dem sich das Modell bei den alten Daten verbesserte, wurde es bei den neuen Daten signifikant schlechter. Konkret maßen sie einen Potenzgesetz-Exponenten von -0,605, was bedeutet, dass wenn man den Fehler bei den alten Daten halbiert, der Fehler bei den neuen Daten um etwa das 1,5-fache ansteigt. Das Modell war im Wesentlichen auf die Vergangenheit „überoptimiert“ (overfitting) und wurde so sicher in den alten Regeln, dass es die neuen nicht mehr handhaben konnte.

Der „Error Floor“, der sich nicht bewegen lässt

Normalerweise denken wir, wenn eine KI Fehler macht, könnten wir dies beheben, indem wir ihr mehr Rechenleistung geben oder sie länger „nachdenken“ lassen (ein Prozess, der als Erhöhung des „Sampling Budget“ bezeichnet wird). Man würde erwarten, dass die KI viel näher an der Wahrheit liegt, wenn sie 50 Schritte zum Zeichnen eines Bildes benötigt statt nur einem.

Die Arbeit zeigt, dass dies nicht funktioniert, wenn die Daten driften. Die Forskscher fanden heraus, dass der Fehler der KI eine „Bodenplatte“ (Error Floor) erreicht, die sie nicht durchbrechen kann, egal wie viele Schritte sie unternimmt. Ob die KI 1 Schritt oder 50 Schritte benötigt, der Fehler bei den neuen Daten bleibt fast exakt gleich – er variiert um weniger als 6 %, selbst wenn der Aufwand ver-50-facht wurde. Dieser Boden liegt jedoch viel höher, als er sein sollte. In ihren Tests lag der Fehlerboden für die neuen Daten zwischen dem 2,2-fachen und dem 34,3-fachen des Fehlerbodens für die alten Daten. Die KI ist nicht nur langsam; sie steckt auf einem hohen Niveau der Ungenauigkeit fest, das durch zusätzlichen Aufwand nicht behoben werden kann.

Warum das „Blicken in die Vergangenheit“ nicht funktioniert

Der kritischste Teil der Arbeit ist das „Unmöglichkeitsresultat“. Die offensichtliche Lösung für eine sich verändernde Welt scheint zu sein: „Beobachte einfach die neuen Daten, während sie eintreffen, messe, wie sie sich unterscheiden, und sage der KI, sie solle sich anpassen.“ Die Autoren beweisen, dass diese Strategie zum Scheitern verurteilt ist.

Sie vergleichen zwei Arten von „Korrigierern“:

1. Der Oracle: Ein magisches Wesen, das die exakten Regeln der neuen Welt sofort kennt. Dieses Wesen kann 60 % der Fehler beheben.
2. Der Observer: Eine normale KI, die nur in die vergangenen Schnappschüsse blickt, um die neuen Regeln zu erraten.

Die Forscher haben mathematisch bewiesen, dass der Observer niemals in die Nähe des Oracle kommen kann. Die neuen Daten verhalten sich wie ein „schneller, mean-reverting (mittelwertrückführender) Random Walk“. Stellen Sie sich einen betrunkenen Menschen vor, der nach Hause geht. Er stolpert nach links, dann nach rechts, dann nach links wieder. Wenn Sie versuchen zu erraten, wo er beim nächsten Schritt sein wird, basierend darauf, wo er vor zwei Schritten war, werden Sie wahrscheinlich falsch liegen, weil sein nächster Schritt eine totale Überraschung (eine „Innovation“) ist, die genauso groß ist wie der Drift selbst.

Die Daten zeigten, dass die Veränderungen im Netzwerk „mean-reverting“ (sie tendieren dazu, zum Mittelwert zurückzukehren) und „trendlos“ waren. Da die Veränderungen so zufällig und unvorhersehbar sind, hilft das Blicken in die Historie nicht weiter. Das Beste, was der Observer tun konnte, war, nur 5,7 % des Fehlers zu korrigieren, den der Oracle beheben konnte.

Der „Extrapolations“-Fehler

Viele versuchen dies durch „Extrapolation“ zu lösen – man betrachtet den Trend und rät die Zukunft. Zum Beispiel: Wenn das Netzwerk letzte Woche um 5 % gewachsen ist, wächst es vielleicht diese Woche auch um 5 %. Die Arbeit zeigt, dass dies streng genommen schlechter ist, als gar nichts zu tun.

Die Forscher testeten diese „Trend-Extrapolation“ gegen das einfache Vertrauen auf die letzte Beobachtung. Sie fanden heraus, dass das Erraten des Trends die Vorhersagen der KI um den Faktor 1,27 bis 1,51 verschlechterte im Vergleich dazu, einfach anzunehmen, dass der nächste Moment so aussehen würde wie der letzte. Der „Trend“, dem die KI zu folgen versuchte, existierte gar nicht; die Daten waren lediglich verrauscht. Der Versuch, einen Trend in zufälligem Rauschen vorherzusagen, fügt nur noch mehr Fehler hinzu.

Die besten (und schlechtesten) Lösungen

Schließlich testete das Team, was passiert, wenn man versucht, die KI auf den neuen Daten neu zu trainieren (eine Technik namens „Test-Time Adaptation“). Man könnte denken: „Wenn die KI bei den neuen Daten schlecht ist, lass uns sie einfach mit den neuen Daten lehren!“

Die Ergebnisse waren kontraintuitiv. Die einfachste Lösung – ein „Marginal Anchor“, der die Basisswahrscheinlichkeiten der KI durch die neuen Daten nur leicht anpasst – funktionierte besser als ein vollumfängliches, schwergewichtiges Retraining des Modells. Das schwere Retraining machte die Sache tatsächlich schlechter. Warum? Weil die neuen Daten sich so schnell bewegen und so zufällig ändern, dass die KI bereits die Regeln wieder geändert hat, bevor sie das „neue“ Lernen abgeschlossen hat. Das schwere Training führt zu einer „Über-Schärfung“ (Over-Sharpening) des Modells auf ein falsches Ziel, was es nur noch verwirrter macht.

Das Fazleit

Diese Arbeit liefert eine harte Wahrheit für alle, die KIs entwickeln, die die Zukunft sich verändernder Netzwerke vorhersagen sollen. Man kann sich nicht einfach durch „Beobachten und Lernen“ aus dem Distribution Drift herausarbeiten. Die Mathematik beweist: Wenn sich die Welt auf eine schnelle, zufällige und unvorhersehbare Weise verändert, kann keine noch so große Beobachtungsbasierte Korrektur die Fehler der KI beheben. Der einzige Weg wäre, über „Seiteninformationen“ zu verfügen (wie etwa zu wissen, warum sich die Welt verändert) oder Modelle zu bauen, die nicht versuchen, perfekt auf die Vergangenheit zu passen. Bis dahin ist die beste Strategie wohl, zu akzeptieren, dass die KI auf einen hohen Fehlerboden stößt, und aufzuhören, zu versuchen, sie dazu zu zwingen, ein bewegliches Ziel zu lernen.