Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents
Dieses Paper führt ein rigoroses Framework zur Messung der sprachübergreifenden Beibehaltung von Policies bei werkzeugnutzenden Agenten ein, indem es fünf kritische Störfaktoren korrigiert und aufzeigt, dass Frontier-Modelle strukturell 71–73 % ihrer Aktions-Policies über Sprachen hinweg beibehalten, indem sie nicht-englische Aufgaben über das Englische routen, während kleinere Modelle Zusammenbrüche aufweisen und beobachtete Ausfälle durch Trace-Extraktions-Regex statt durch Modelllimitierungen künstlich herbeigeführt werden können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die unsichtbare Reise eines digitalen Assistenten
Stellen Sie sich vor, Sie hätten einen superintelligenten digitalen Assistenten, wie einen persönlichen Roboter, der jedoch in einem Computer lebt. Seine Aufgabe ist es, Probleme zu lösen, indem er eine Reihe von Schritten ausführt: Er könnte Informationen nachschlagen, einige Berechnungen durchführen oder einen Satz übersetzen, bevor er Ihnen eine endgültige Antwort gibt. So arbeiten moderne „KI-Agenten“; sie raten nicht einfach die Antwort, sondern bauen einen Pfad, um dorthin zu gelangen.
Lange Zeit testeten Wissenschaftler diese Assistenten, indem sie ihnen dieselbe Frage in verschiedenen Sprachen stellten, wie zum Beispiel Englisch und Hindi. Wenn der Assistent in beiden Sprachen die richtige Antwort gab, war jeder zufrieden. Es war so, als würde man einen Schüler nur danach bewerten, ob er die richtige Zahl in einer Mathearbeit erreicht hat, ohne zu prüfen, wie er das Problem gelöst hat. Aber was, wenn der Schüler das englische Problem durch das Zeichnen eines Bildes löste, das Hindi-Problem aber durch das Schreiben eines langen Aufsatzes? Er erhielt die gleiche Note, nutzte aber völlig unterschiedliche Methoden.
Dieses Paper stellt eine große Frage: Wenn ein KI-Agent die Sprache wechselt, ändert er dann auch seine „Route“ oder die Schritte, die er unternimmt, um die Antwort zu finden? Es stellt sich heraus, dass die Schritte eine große Rolle spielen. Die Route bestimmt, wie viel Geld der Computer ausgert, wie schnell er arbeitet und was passiert, wenn er einen Fehler macht. Wenn die KI in Hindi einen anderen Weg nimmt als in Englisch, könnte dies teurer werden oder auf eine Weise scheitern, die von Sicherheitsregeln nicht erfasst wurde. Deshalb beschlossen die Forscher, nicht mehr nur auf das Endergebnis zu schauen, sondern die Reise selbst zu beobachten.
Der große Sprachumweg
Die Forscher machten sich daran zu untersuchen, ob diese KI-Agenten wirklich zweisprachig sind oder ob sie nur so tun als ob. Sie nahmen acht verschiedene KI-Modelle und gaben ihnen dieselben Aufgaben in 41 verschiedenen Sprachen. Anstatt nur das Endergebnis zu überprüfen, zeichneten sie jeden einzelnen Schritt auf, den die KI unternahm – den „Trace“ (die Spur) – wie ein GPS, das die Reise eines Autos verfolgt. Sie wollten wissen: Wenn ich die KI bitte, „das Wetter zu finden und dann die Kosten zu berechnen“ auf Englisch, und dann genau dasselbe auf Hindi frage, wird sie dann exakt dieselben Schritte unternehmen?
Die Antwort war ein eindeutiges „Nein“, aber nicht so, wie man es vielleicht erwartet hätte. Die KI nahm nicht nur einen leicht anderen Weg; sie legte einen massiven Umweg zurück. Die Forscher fanden heraus, dass sich das Verhalten der KI signifikant änderte, wenn sich die Sprache änderte. Tatsächlich behielten die fortschrittlichsten Modelle bei einem Sprachwechsel nur etwa 71 % bis 73 % ihres ursprünglichen Schritt-für-Schritt-Plans bei. Das bedeutet, dass die KI in etwa 27 % bis 29 % der Fälle etwas völlig anderes tat, nur weil die Wörter in einer anderen Sprache verfasst waren.
Das Geheimnis des „English Pivot“
Warum geschah das? Das Team entdeckte eine verborgene Gewohnheit, die die KI-Agenten entwickelt hatten. Es stellte sich heraus, dass die KI, selbst wenn man ihr eine Frage auf Hindi, Tamil oder einer anderen Sprache stellt, oft im Geheimen das Ganze zuerst in ihr „Denken“ ins Englische übersetzt. Sie löst dann das Problem auf Englisch und übersetzt die Antwort zurück.
Die Forscher nannten dies den „English Pivot“ (den englischen Drehpunkt). Um dies zu beweisen, versuchten sie, die KI daran zu hindern, dies zu tun. Sie sagten der KI: „Bitte denke in der Sprache, die du sprichst, übersetze nicht ins Englische!“ Aber die KI kam dieser Anweisung nicht nach. In den zwei getesteten Modellen folgte die KI der Anweisung, in der Sprache der Aufgabe zu denken, in weniger als 1 % der Fälle. Da die KI fast nie das tat, was man ihr befahl, konnten die Forscher nicht testen, ob das Denken in einer anderen Sprache ihre Schritte verändert hätte. Das Ergebnis bestätigte jedoch etwas noch Stärkeres: Der „English Pivot“ ist nicht nur eine Vorliebe, die man mit einem einfachen Prompt abschalten kann; es ist ein tief verwurzeltes Verhalten, das die Modelle einer direkten Anweisung effektiv ignorieren. Es war wie ein Reisender, der, egal in welches Land er kommt, darauf besteht, erst mit einem Übersetzer zu sprechen, bevor er mit jemandem direkt redet, ungeachtet dessen, was der Reiseführer ihm sagt. Diese Gewohnheit war so stark, dass sie der Hauptgrund dafür war, dass sich die Schritte der KI änderten, wenn sich die Sprache änderte.
Die Falle der Abkürzungen
Das Paper deckte auch einen amüsanten Fehler auf, der fast alle getäuscht hätte. Bei der Messung, wie gut diese KI-Agenten arbeiteten, verwendeten einige Forscher ein einfaches Computerprogramm, um die Schritte der KI zu lesen. Eines dieser Programme war so streng, dass es die KI bereits als gescheitert betrachtete, wenn sie einen Satz wie „Ich werde den Taschenrechner benutzen“ schrieb, anstatt ein spezifisches Code-Format zu verwenden.
Aufgrund dessen sah ein sehr leistungsfähiges KI-Modell so aus, als würde es 76 % der Zeit scheitern. Doch als die Forscher das Computerprogramm etwas flexibler gestalteten, stieg die „Erfolgsrate“ der KI um das 26-fache! Dies lehrte die Forscher, dass das, was wie ein Sprachproblem aussieht, in Wirklichkeit nur ein Problem damit ist, wie wir die Handschrift der KI lesen.
Die Regel: Größe zählt
Schließlich untersuchte das Team, ob größere KI-Modelle besser darin waren. Sie fanden eine seltsame Regel: Die größten, leistungsstärksten Modelle waren alle sehr ähnlich und hielten sich an jene 71–73 % Konsistenz. Aber die kleineren Modelle waren ein einziges Durcheinander. Einige kleine Modelle sahen großartig aus, aber es stellte sich heraus, dass sie nur Glück hatten, weil sie sehr kurze, einfache Pfade einschlugen, die leicht durch Zufall übereinstimmten. Sobor die Forscher dieses Glück korrigierten, wirkten die kleinen Modelle nicht mehr so beeindruckend. Es scheint, dass nur die sehr großen, mächtigen Modelle eine konsistente Art des Verhaltens etabliert haben, während die kleineren noch damit beschäftigt sind, sich zurechtzufinden.
Warum das wichtig ist
Diese Studie verändert die Art und Weise, wie wir KI testen sollten. Sie zeigt, dass es nicht ausreicht, die richtige Antwort zu erhalten. Wenn eine KI einen anderen, teureren oder riskanteren Weg einschlägt, nur weil man in einer anderen Sprache zu ihr spricht, dann ist das ein Problem. Die Forscher zeigten, dass diese Agenten nicht wirklich fließend in ihren Handlungen sind; sie verlassen sich immer noch auf eine verborgene englische Krücke. Bis wir das beheben, könnte eine KI in Englisch vertrauenswürdig, in anderen Sprachen jedoch unzuverlässig sein – nicht weil sie „dumm“ ist, sondern weil sie einen anderen, unüberwachten Weg nimmt, um dasselbe Ziel zu erreichen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.