💬 NLP

SEATauBench: Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages

Dieses Paper führt SEATauBench ein, das erste Evaluierungs-Framework für südostasiatische Sovereign-KI, welches TauBench an fünf Regionalsprachen anpasst und aufzeigt, dass die Fähigkeiten englischsprachiger Agenten zwar gut auf lokalisierte Konversationen übertragbar sind, ihre Leistung und Robustheit jedoch signifikant abnehmen, sobald Aufgabenkontexte und Werkzeugspezifikationen vollständig lokalisiert werden.

Ursprüngliche Autoren: My Chiffon Nguyen, Aulia Adila, Saksorn Ruangtanusak, Kittiphat Leesombatwathana, Vissuta Gunawan Lim, Patomporn Payoungkhamdee, Samuel Cahyawijaya

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: My Chiffon Nguyen, Aulia Adila, Saksorn Ruangtanusak, Kittiphat Leesombatwathana, Vissuta Gunawan Lim, Patomporn Payoungkhamdee, Samuel Cahyawijaya

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, hochtrainierten Roboter-Assistenten. Sie haben ihn in Englisch intensiv getestet, und er ist großartig darin, Flüge zu buchen, Kleidung zu kaufen und Mobilfunkverträge zu verwalten. Er scheint ein Superheld zu sein.

Aber dann versuchen Sie, denselben Roboter in Südostasien arbeiten zu lassen, wo die Menschen Thailändisch, Vietnamesisch, Indonesisch, Filipino und Mandarin sprechen. Sie fragen sich: „Wenn er in Englisch so gut ist, wird er auch in diesen anderen Sprachen einfach funktionieren?“

Dieses Paper, SEATauBench, ist wie ein riesiger, realistischer Stresstest, der genau diese Antwort finden soll. Die Forscher haben einen speziellen „Übungsgelände“ gebaut, um zu sehen, wie gut diese KI-Agenten tatsächlich reale Aufgaben bewältigen, wenn alles um sie herum in lokale Sprachen übersetzt wurde.

Hier ist die Geschichte dessen, was sie herausgefunden haben, einfach aufgeschlüsselt:

1. Das Setup: Der „Dreischichtkuchen“ des Schwierigkeitsgrades

Die Forscher haben nicht einfach alles auf einmal übersetzt. Sie bauten einen Test mit vier Ebenen, wie das Klettern auf einer Leiter, um genau zu sehen, an welcher Stelle der Roboter anfängt zu stolpern.

Level 1 (Die englische Baseline): Der Robot spricht Englisch, die Werkzeuge sind auf Englisch und die Regeln sind auf Englisch. Dies ist der „Leichtmodus“, um zu sehen, wie gut der Roboter in seinem Kern ist.
Level 2 (Der Gesprächswechsel): Der Roboter und der menschliche Nutzer beginnen in einer lokalen Sprache (wie Thailändisch) zu kommunizieren, aber die internen Werkzeuge und Regelbücher des Roboters sind immer noch auf Englisch. Es ist, als würde man mit einem Freund auf Spanisch sprechen, aber die Anweisungen auf der Karte sind noch auf Englisch.
Level 3 (Der Werkzeugwechsel): Jetzt findet das Gespräch auf Englisch statt, aber die Werkzeuge des Roboters (wie der Button „Flug suchen“ oder das Menü „Guthaben prüfen“) sind in der lokalen Sprache beschrieben. Es ist, als hätte man eine Fernbedienung, bei der alle Tasten auf Thailändisch beschriftet sind.
Level 4 (Die vollständige Immersion): Alles ist in der lokalen Sprache. Der Chat, die Werkzeuge, die Regeln und die Datenbank sind alle übersetzt. Dies ist der „Schwerenmodus“, in dem der Roboter komplett in einer neuen Sprache denken, lesen und handeln muss.

2. Die große Überraschung: Die „Gläserne Decke“

Das Paper fand etwas sehr Interessantes heraus.

Bei Level 2 (Nur das Sprechen): Der Roboter machte ziemlich gut! Wenn man ihn nur bat, auf Vietnamesisch oder Thailändisch zu chatten, konnte er das Gespräch fast so gut führen wie auf Englisch. Es war wie ein Tourist, der ein paar Sätze gelernt hat und nun Essen bestellen kann.
Bei Level 3 & 4 (Werkzeuge und Regeln): Hier stieß der Roboter auf eine gläserne Decke. Sobald die Werkzeuge und Regeln übersetzt wurden, sank die Leistung des Roboters drastisch.
- Stellen Sie sich einen Koch vor, der perfektes Italienisch spricht, aber kein italienisches Rezeptbuch lesen oder italienische Messbecher benutzen kann. Er mag zwar nett plaudern, aber er kann das Essen nicht kochen.
- Das Paper fand heraus, dass die Roboter viel mehr Fehler machten, wenn das „Rezeptbuch“ (die Werkzeugspezifikationen) und die „Küchenregeln“ (die Domänenrichtlinien) in einer lokalen Sprache verfasst waren. Sie wurden verwirrt, konnten den Flug nicht buchen oder gaben den falschen Mobilfunkplan an.

3. Das Rätsel des „Sprachdrifts“

Die Forscher prüften auch, ob die Roboter „ausrutschten“ und versehentlich Englisch sprachen, obwohl sie eigentlich Thailändisch oder Filipino sprechen sollten.

Das Ergebnis: Die Roboter rutschten tatsächlich manchmal in das Englische ab, besonders in den schwierigsten Szenarien.
Die Wendung: Überraschenderweise war dieses „Ausrutschen“ nicht der Hauptgrund für ihr Scheitern. Selbst wenn der Roboter die korrekte lokale Sprache perfekt sprach, scheiterte er dennoch an der Aufgabe, wenn die Werkzeuge verwirrend waren.
Die Metapher: Es ist wie ein Fahrer, der perfekt auf der rechten Straßenseite fährt (die richtige Sprache spricht), aber trotzdem einen Unfall baut, weil er die lokalen Verkehrsschilder (die Werkzeuge) nicht lesen kann. Das Problem ist nicht die Sprache, die er spricht; es ist seine Fähigkeit, die lokale Umgebung zu verstehen.

4. Das „Einheitsgröße passt nicht für alle“-Problem

Das Paper untersuchte auch verschiedene Arten von Robotern (verschiedene KI-Modelle).

Einige Roboter waren besser in bestimmten Sprachen als andere. Zum Beispiel wurde ein Roboter, der gut in Englisch war, nicht automatisch gut in Thai, nur weil er intelligent war.
Sie fanden heraus, dass Filipino ein überraschend guter „Testfall“ war. Wenn ein Roboter in Filipino gut abschnitt, war es wahrscheinlich, dass er auch in den anderen südostasiatischen Sprachen gut abschneiden würde. Es ist, als fände man einen „Kanarienvogel im Kohlebergwerk“ für die gesamte Region.

5. Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass wir nicht davon ausgehen können, dass eine KI, die in Englisch klug ist, automatisch bereit für Südostasien ist.

Der alte Weg: Früher dachten wir: „Wenn es in Englisch funktioniert, funktioniert es überall.“
Die neue Realität: Das Paper zeigt, dass „Englisch-zentrierte“ Tests wie das Testen eines Autos nur auf einer glatten Autobahn sind. Wenn man dieses Auto auf eine holprige, unbefestigte Straße mit lokalen Schildern setzt, geht es kaputt.

Kurz gesagt: SEATauBench ist ein Diagnosetool, das beweist, dass wir KI speziell für lokale Sprachen und Werkzeuge bauen und testen müssen, anstatt einfach nur englische Tests zu übersetzen und zu hoffen, dass es klappt. Die Lücke zwischen „die Sprache sprechen“ und „in der Sprache arbeiten“ ist riesig, und dieser Benchmark hilft uns zu messen, wie groß diese Lücke genau ist.

Technisches Resümee: SEATauBench

Problemstellung

Während die KI-Entwicklung in Südostasien (SEA) rasant expandiert ist, bleiben die Fähigkeiten von KI-Agenten in den regionalen Sprachen unzureichend verstanden. Bestehende Benchmarks bewerten primär statische Modellverhaltensweisen (z. B. Schlussfolgerung, Übersetzung oder Wissensabruf) statt der dynamischen, mehrstufigen, werkzeuggestützten Interaktionen, die für den Einsatz von Sovereign AI in realen Sektoren wie Handel, Reisen und Dienstleistungen erforderlich sind. Darüber hinaus sind aktuelle Evaluierungs-Frameworks für Agenten stark auf Englisch zentriert, was eine Lücke schafft, da englischzentrierte Bewertungen die Leistung von Agenten in linguistisch diversen, ressourcenarmen SEA-Kontexten möglicherweise nicht genau widerspiegeln. Es besteht ein kritischer Bedarf an einem diagnostischen Framework, das evaluiert, wie Agenten performen, wenn sich nicht nur die Konversationssprache ändert, sondern auch die Werkzeugspezifikationen und Aufgabenbereiche lokalisiert werden.

Methodik

Die Autoren führen SEATauBench ein, das erste agentenfokussierte Evaluierungsframework für die Sovereign AI in SEA. Das Framework adaptiert das englischbasierte $\tau^2$ -Bench (Yao et al., 2024; Barres et al., 2025) auf fünf Zielsprachen: Mandarin-Chinesisch, Vietnamesisch, Thailändisch, Indonesisch und Filipino.

Adaptations-Pipeline

Um sicherzustellen, dass die Semantik der Aufgaben konsistent bleibt, während die Schnittstelle lokalisiert wird, entwickelten die Autoren eine zweiphasige, nicht-destruktive Translations-Pipeline:

Offline-Translation: Statische Domänen-Assets (Aufgabendefinitionen, Richtlinien, Datenbankinhalte, Tool-Docstrings und Schemata) werden übersetzt. Entscheidend ist, dass die Pipeline ausführbare Token (IDs, Statuscodes, Tool-Namen und Enum-Literale) maskiert, um zu verhindern, dass die Translation die Ausführungsebene unterbricht. Ein Schema-fokussierter Ansatz etabliert ein Glossar, um die terminologische Konsistenz zu gewährleisten.
Runtime-Lokalisierung: Während der Inferenz patcht die Umgebung die Sichtweise des Agenten. Tool-Schemata (Beschreibungen, Enum-Auswahlmöglichkeiten) werden in der Zielsprache ( $L_2$ ) gerendert, aber die vom Agenten bereitgestellten Argumente werden vor der Tool-Ausführung auf kanonische englische Werte normalisiert. Die Tool-Ausgaben werden dann zur Benutzerinteraktion zurück in $L_2$ lokalisiert. Dies stellt sicher, dass der Agent in einem monolingualen $L_2$ -Kontext operiert, während die metrische Vergleichbarkeit mit dem englischen Baseline erhalten bleibt.

Evaluierungsszenarien

SEATauBench evaluiert Agenten über vier progressiv lokalisierte Szenarien, um spezifische Fähigkeitslücken zu isolieren:

S1 (Nur Englisch): Baseline-Leistung in Englisch.
S2 (L2-Interaktion): Die Benutzer-Agent-Konversation findet in $L_2$ statt, aber Tools, Richtlinien und Kontexte bleiben auf Englisch.
S3 (L2-Tool): Tool-Schemata sind in $L_2$ übersetzt, während Konversation und Domänenkontext auf Englisch bleiben. Dies umfasst sowohl monolinguale als auch gemischsprachige Tool-Einstellungen.
S4 (L2-Domäne): Ein vollständig lokalisierter Kontext, in dem Dialog, Tool-Schemata, Richtlinien, Aufgabenbeschreibungen und Datenbankinhalte alle in $L_2$ vorliegen.

Experimentelles Setup

Die Studie evaluiert drei aktuelle Large Language Model (LLM) Agenten:

GPT-5-Mini: Ein proprietäres Modell.
Qwen3-235B-A22B-Instruct: Ein repräsentatives Open-Source-Modell.
Kimi-K2.5: Ein größeres Open-Source-Modell.

Die Leistung wird mittels pass@1 (Qualität/Erfolgsrate) und einer abgeleiteten Robustheitsmetrik ( $\rho_3$ ) gemessen, welche die Wahrscheinlichkeit eines konsistenten Erfolgs über drei unabhängige Versuche hinweg misst. Die Evaluierung deckt drei Domänen ab: Einzelhandel (Retail), Luftfahrt (Airline) und Telekommunikation (Telecom).

Kernergebnisse

Leistungsdegradierung in lokalisierten Settings

Die Ergebnisse zeigen einen konsistenten und starken Rückgang der Agentenleistung, wenn sich das Evaluierungsszenario von Englisch weg bewegt:

Interaktion vs. Vollständige Lokalisierung: Während Agenten eine angemessene Transferleistung zeigen, wenn sich nur die Konversationssprache ändert (S2), sinken Qualität und Robustheit signifikant, wenn auch Tool-Schnittstellen und Aufgabenkontexte lokalisiert werden (S3 und S4).
Domänen-Adaption: Die schwersten Leistungseinbußen treten im Szenario der L2-Domäne (S4) auf. Beispielsweise fallen die pass@1-Scores in Thai und Filipino in den niedrigen 0,4-Bereich, verglichen mit höheren englischen Baselines.
Sprachvarianz: Die Schwere der Degradierung variiert je nach Sprache. Thai und Filipino zeigen die größten Rückgänge, was potenziell auf unterschiedliche Schriftsysteme oder eine geringere Ressourcenabdeckung zurückzuführen ist. Jedoch zeigen selbst lateinische Skriptsprachen wie Filipino signifikante Schwächen, wenn Agenten über vollständig lokalisierte Dialoge und Schemata schlussfolgern müssen.

Divergenz zwischen Qualität und Robustheit

Die Studie stellt fest, dass Qualität (pass@1) und Robustheit ( $\rho_3$ ) nicht immer korrelieren. In einigen Sprachen (z. B. Indonesisch, Filipino) sinkt pass@1 in der L2-Domäne, während die Robustheit relativ stabil bleibt, was darauf hindeutet, dass Agenten zwar weniger Aufgaben insgesamt lösen, ihre erfolgreichen Versuche jedoch reproduzierbar sind. Im Gegensatz dazu zeigt Thai Rückgänge in beiden Metriken, was auf einen Zusammenbruch sowohl des durchschnittlichen Erfolgs als auch der Konsistenz hindeutet.

Modell- und Domänenunterschiede

Modell-Varianz: Kein einzelnes Modell dominiert über alle SEA-Sprachen hinweg. Kimi-K2.5 schneidet in Vietnamesisch, Filipino und Chinesisch im Allgemeinen am besten ab, während GPT-5-Mini in Indonesisch und Thai führt. Qwen3-235B zeigt konsistent einen niedrigeren pass@1, weist aber oft eine stärkere Robustheit in ressourcenarmen Settings auf.
Domänen-Schwierigkeit: Die Domäne Einzelhandel ist über alle Sprachen hinweg konsistent am anspruchsvollsten aufgrund komplexer Richtlinien und Statusaktualisierungen. Bemerkenswert ist, dass domänenspezifische Stärken in Englisch (z. B. Qwen in der Einzelhandelsdomäne) nicht zwangsläufig auf lokalisierte Settings übertragen werden.

Fehleranalyse und Sprachdrift

Fehlertypen: Kritische Fehler (Abweichungen von der Benutzerintention) nehmen in L2-Settings signifikant zu, insbesondere in Thai und Filipino.
Sprachdrift: Während Agenten eine „Sprachdrift“ (Wechsel zu Englisch mitten in der Konversation) zeigen, zeigt die Analyse eine sehr schwache Korrelation ( $R^2 = 0,014$ ) zwischen Sprachkorrektheit und Aufgabenerfolg. Dies deutet darauf hin, dass Aufgabenfehler eher durch die Unfähigkeit getrieben werden, über lokalisierte Schemata und Richtlinien zu schlussfolgern, als durch einfaches Sprachwechseln.
Gemischte Sprach-Tools: Die gleichzeitige Einführung von Tools in mehreren Sprachen verursacht nur einen moderaten Leistungsabfall im Vergleich zur monolingualen Lokalisierung, was darauf hindeutet, dass Agenten eine gewisse Mehrsprachigkeit bei Tools bewältigen können.

Bedeutung und Behauptungen

Das Paper behauptet, dass SEATauBench eine kritische Lücke zwischen dem Wachstum der SEA-Evaluierungsressourcen und der Einsatzbereitschaft aktueller Agenten für die Sovereign AI aufzeigt. Seine primären Beiträge sind:

Diagnostischer Benchmark: Es bietet das erste Framework, um die Fähigkeiten von Agenten in SEA-Sprachen über verschiedene Lokalisierungsstufen hinweg systematisch zu evaluieren, indem es über statische Benchmarks hinaus zu interaktiven, werkzeuggestützten Aufgaben übergeht.
Unzuverlässigkeit englischer Proxies: Die Studie demonstriert, dass englischbasierte Evaluierungen ein unzuverlässiger Proxy für die Fähigkeiten in SEA-Sprachen sind. Eine hohe Leistung in Englisch garantiert keine Robustheit in lokalisierten Umgebungen, insbesondere wenn Tool-Schemata und Domänenrichtlinien übersetzt wurden.
Adaptations-Pipeline: Die Autoren stellen eine wiederverwendbare, nicht-destruktive Translations-Pipeline bereit, die es ermöglicht, Tool-Agent-Benchmarks schnell an neue Sprachen anzupassen, während die Ausführungsintegrität gewahrt bleibt.
Empfehlung: Basierend auf der Korrelationsanalyse schlagen die Autoren vor, dass der Filipino-Teil von SEATauBench als repräsentativer Proxy dienen kann, um die Leistung über andere SEA-Sprachen hinweg abzuschätzen, was eine effizientere Evaluierungsstrategie für die Region bietet.

Letztlich etabliert SEATauBench eine rigorose Grundlage für den Aufbau zuverlässiger, mehrsprachiger Agenten für linguistisch diverse Regionen und hebt hervor, dass Sovereign AI mehr als nur Übersetzung erfordert; sie verlangt eine robuste Adaptation von Tool-Schnittstellen und Domänen-Schlussfolgerungsfähigkeiten.