🤖 AI

LLM-Rosetta: A Hub-and-Spoke Intermediate Representation for Cross-Provider LLM API Translation

Die Arbeit stellt LLM-Rosetta vor, ein Open-Source-Framework mit einer Hub-and-Spoke-Architektur, das als intermediäre Repräsentation dient, um die API-Schnittstellen verschiedener LLM-Anbieter verlustfrei, bidirektional und mit minimalem Overhead ineinander zu übersetzen und so die Fragmentierung des Ökosystems zu überwinden.

Ursprüngliche Autoren: Peng Ding

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Peng Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

LLM-Rosetta: Der universelle Dolmetscher für künstliche Intelligenz

Stellen Sie sich vor, die Welt der Künstlichen Intelligenz (KI) ist wie eine riesige, chaotische internationale Konferenz. Auf dieser Konferenz gibt es vier mächtige Redner (die großen KI-Anbieter wie OpenAI, Anthropic, Google und die neue OpenAI-Response-API). Jeder dieser Redner spricht jedoch eine völlig andere Sprache, hat einen anderen Dialekt und verwendet eine andere Art, seine Gedanken zu strukturieren.

Wenn Sie als Besucher (ein Software-Entwickler) mit Redner A sprechen wollen, müssen Sie Redner A verstehen. Wenn Sie dann aber zu Redner B wechseln wollen, müssen Sie plötzlich eine komplett neue Sprache lernen. Und wenn Sie alle vier Redner gleichzeitig bedienen wollen, müssten Sie für jede Kombination eine eigene Übersetzungstabelle erstellen. Das ist extrem mühsam, teuer und fehleranfällig.

Genau hier kommt LLM-Rosetta ins Spiel.

Das Problem: Der "O(N²)"-Albtraum

Stellen Sie sich vor, Sie haben 100 verschiedene Sprachen. Um zwischen jeder dieser Sprachen direkt zu übersetzen, bräuchten Sie Tausende von einzelnen Dolmetschern (eine für jede Sprachkombination). Das nennt man in der Informatik das "O(N²)-Problem". Je mehr KI-Anbieter es gibt, desto mehr Arbeit entsteht, weil man für jedes Paar eine eigene Brücke bauen muss.

Die Lösung: Der "Hub-and-Spoke"-Ansatz (Nabe und Speiche)

LLM-Rosetta löst dieses Problem mit einem genialen Trick, den man aus der Logistik kennt: Die zentrale Drehscheibe.

Statt dass jeder Redner direkt mit jedem anderen sprechen muss, sprechen alle nur mit einem einzigen, neutralen Übersetzer in der Mitte.

Der Hub (Die Nabe): Das ist das Herzstück von LLM-Rosetta. Es ist eine Art "Universalsprache" oder ein "Gedanken-Blueprint".
Die Spokes (Die Speichen): Das sind die speziellen Adapter für jeden Anbieter (OpenAI, Anthropic, Google etc.).

Die Analogie:
Stellen Sie sich vor, Sie wollen eine Nachricht von Deutsch nach Japanisch senden.

Ohne Rosetta: Sie müssten einen Dolmetscher finden, der nur Deutsch-Japanisch spricht. Wenn Sie dann auch Französisch hinzufügen wollen, brauchen Sie einen neuen Dolmetscher für Deutsch-Französisch und einen für Französisch-Japanisch.
Mit Rosetta: Sie geben Ihre Nachricht auf Deutsch an den zentralen Übersetzer. Er wandelt sie in eine neutrale, universelle Gedankenform um (z. B. "Ich möchte ein Bild sehen"). Dann nimmt der japanische Dolmetscher diese universelle Form und wandelt sie in perfektes Japanisch um. Wenn Sie später Französisch hinzufügen wollen, brauchen Sie nur einen neuen Dolmetscher, der die universelle Form versteht. Die Arbeit wächst linear, nicht exponentiell.

Was macht LLM-Rosetta genau?

Es erkennt den Kern: Die Forscher haben herausgefunden, dass sich alle diese KI-Sprachen im Wesentlichen gar nicht so sehr unterscheiden. Es geht immer um:
- Nachrichten (Wer spricht? Was wird gesagt?)
- Werkzeuge (Kann die KI rechnen oder suchen?)
- Denken (Wie denkt die KI nach?)
- Streaming (Wie kommt die Antwort stückweise?)
  LLM-Rosetta baut eine 9-teilige Bausteine-Struktur und ein 10-teiliges Ereignis-System, das all diese gemeinsamen Ideen einfängt.
Es ist ein zweirichtungs-Dolmetscher: Viele Tools können nur Anfragen in ein Format umwandeln. LLM-Rosetta kann aber hin und her übersetzen. Sie können eine Anfrage an Google senden, die Antwort von Google holen, sie in die neutrale Form wandeln und dann so tun, als käme sie von OpenAI – und das ohne Informationsverlust.
Es ist modular wie Lego: Das System ist so gebaut, dass man neue KI-Anbieter hinzufügen kann, ohne das ganze System umzubauen. Man baut einfach einen neuen "Lego-Stein" (einen Adapter) für den neuen Anbieter, der an die zentrale Nabe passt.

Warum ist das wichtig?

Freiheit: Unternehmen sind nicht mehr an einen einzigen Anbieter gefesselt. Sie können leicht wechseln, wenn ein Anbieter teurer wird oder schlechtere Ergebnisse liefert.
Geschwindigkeit: Die Übersetzung dauert weniger als 100 Mikrosekunden (das ist schneller als das Blinzeln eines Auges). Der Aufwand ist also vernachlässigbar im Vergleich zur eigentlichen Rechenzeit der KI.
Zukunftssicherheit: Da die KI-Welt sich schnell ändert, ist dieses System flexibel genug, um neue Anbieter einfach zu integrieren.

Fazit

LLM-Rosetta ist wie ein universeller Reiseadapter für die Welt der KI. Statt für jedes Land (KI-Anbieter) einen eigenen Stecker zu kaufen und mitzunehmen, haben Sie jetzt einen Adapter, der in jede Steckdose passt. Er übersetzt die "Sprache" der Maschine so, dass Sie sich keine Sorgen mehr machen müssen, mit welchem Anbieter Sie gerade sprechen.

Das Projekt ist Open Source (kostenlos verfügbar) und wird bereits in großen Forschungseinrichtungen wie dem Argonne National Laboratory eingesetzt, um Wissenschaftlern den Zugang zu verschiedenen KI-Modellen zu erleichtern.

1. Problemstellung

Die Landschaft der Large Language Model (LLM)-Anbieter ist stark fragmentiert. Jeder große Anbieter (OpenAI, Anthropic, Google, etc.) verwendet proprietäre API-Formate für Nachrichten, Tool-Calls, Streaming und Generierungssteuerung.

Das $O(N^2)$ -Problem: Um $N$ Anbieter miteinander zu verbinden, müsste man im naiven Ansatz $\binom{N}{2}$ bidirektionale Adapter schreiben. Da sich die APIs ständig weiterentwickeln, führt dies zu einem hohen Wartungsaufwand und verhindert Portabilität.
Fehlende Universalität: Es gibt kein universelles Wire-Format. Entwickler sind oft an einen einzelnen Vendor gebunden oder nutzen schwerfällige SDK-Wrappers, die die Formatunterschiede nur verbergen, aber nicht lösen.
Herausforderung: Die semantischen Kernfunktionen (Nachrichten, Tools, Reasoning) sind bei allen Anbietern ähnlich, aber die syntaktische Darstellung (Feldnamen, Verschachtelung, Streaming-Events) variiert stark.

2. Methodik und Architektur

Die Autoren schlagen LLM-Rosetta vor, ein Open-Source-Framework, das auf dem Hub-and-Spoke-Muster (Zentraler Hub mit Speichen) basiert, ähnlich wie LLVM in der Compiler-Infrastruktur.

A. Die Intermediate Representation (IR)

Das Herzstück ist eine typisierte, anbieterneutrale IR, die den gemeinsamen semantischen Kern aller großen LLM-APIs abstrahiert. Sie besteht aus:

9 Content-Typen: Text, Bilder, Audio, Dateien, Tool-Calls, Tool-Ergebnisse, Reasoning (Gedankengänge), Ablehnungen und Zitierungen.
10 Stream-Event-Typen: Von stream_start über content_block_delta bis hin zu usage-Statistiken.
Struktur: Die IR ist modular in acht Module unterteilt (Content-Parts, Messages, Tools, Konfiguration, Requests, Responses, Stream-Events, Erweiterungen).
Ziel: Keine Bevorzugung eines einzelnen Formats; die IR ist die Vereinigung aller unterstützten Schemata.

B. Ops-Kompositions-Architektur

Statt monolithischer Konverter nutzt LLM-Rosetta ein modulares Design, das die Konversionslogik in vier orthogonale „Ops"-Module zerlegt:

ContentOps: Konvertiert einzelne Inhaltsteile (z. B. Base64-Bilder, Tool-Argumente).
MessageOps: Handhabt Nachrichtensequenzen, Rollenzuordnungen und System-Prompts.
ToolOps: Konvertiert Tool-Definitionen und Auswahlkonfigurationen.
ConfigOps: Verarbeitet Generierungsparameter (Temperature, Top-P) und Reasoning-Einstellungen.

Ein konkreter Provider-Konverter (z. B. für Anthropic) setzt sich einfach aus den vier spezifischen Implementierungen dieser Module zusammen. Dies ermöglicht eine unabhängige Erweiterbarkeit: Ein neuer Anbieter kann hinzugefügt werden, ohne die IR oder andere Konverter zu ändern.

C. Bidirektionale Konvertierung und Streaming

Bidirektionalität: Das Framework unterstützt die Konvertierung in beide Richtungen (Provider $\leftrightarrow$ IR $\leftrightarrow$ Provider).
Modi:
- Strip-Modus: Entfernt anbieterspezifische Metadaten für saubere Weiterleitung.
- Preserve-Modus: Behält anbieterspezifische Felder in provider_metadata bei, um verlustfreie Round-Trips zu ermöglichen.
Streaming: Die unterschiedlichen Server-Sent-Events (SSE) der Anbieter werden in die 10 standardisierten IR-Events normalisiert. Ein StreamContext verwaltet den Zustand (z. B. Tool-Call-IDs, Puffer), um die korrekte Reihenfolge auch bei asynchronen oder unterschiedlich sortierten Provider-Events sicherzustellen.

3. Schlüsselbeiträge

Empirische Charakterisierung: Nachweis, dass die syntaktischen Unterschiede zwar komplex sind, aber auf einem gemeinsamen semantischen Kern basieren, der durch eine kompakte IR (9 Content-Typen, 10 Stream-Typen) vollständig abgebildet werden kann.
Architektur: Einführung der Ops-Kompositions-Architektur, die die Komplexität der Provider-spezifischen Logik isoliert und die Wartbarkeit sowie Testbarkeit drastisch verbessert.
Vollständige Bidirektionalität: Im Gegensatz zu vielen bestehenden Tools (die oft nur in eine Richtung oder nur auf OpenAI-Format abbilden) bietet LLM-Rosetta verlustfreie Round-Trips und echte Cross-Provider-Konvertierung.
Produktionsreife: Implementierung als Gateway-Proxy und Integration in die Produktion am Argonne National Laboratory.

4. Ergebnisse und Evaluation

Die Evaluation umfasste 1.364 Tests (inklusive des offiziellen „Open Responses Compliance"-Suites) und reale Produktionsdaten.

Round-Trip-Fidelity: In allen Tests wurde eine verlustfreie semantische Äquivalenz erreicht. In „Preserve Mode" sind die JSON-Bäume strukturell identisch (bis auf Whitespace/Reihenfolge).
Streaming-Korrektheit: Alle 255 Streaming-Tests (über alle vier Provider) bestanden mit 100%iger Genauigkeit bei der Ereignisreihenfolge und der Akkumulation von Tool-Argumenten.
Cross-Provider-Translation: Die semantische Konvertierung zwischen allen 6 möglichen Provider-Paaren (z. B. Anthropic $\to$ Google) funktionierte korrekt. Anbieterspezifische Features ohne Äquivalent (z. B. Anthropic-Caching) wurden mit Warnungen verworfen, der Kerninhalt blieb erhalten.
Performance:
- Der Konvertierungs-Overhead liegt im Median unter 100 µs (z. B. 21–24 µs für einfache Texte, bis 77 µs für komplexe Multi-Turn-Payloads).
- Im Vergleich zu LiteLLM (einem etablierten Single-Pass-Tool): LLM-Rosetta ist bei einfachen Texten sogar schneller (24 µs vs. 28 µs), bei komplexeren Szenarien (Multi-Turn, Tools) ca. 1,6–2,2-fach langsamer, bleibt aber im sub-millisekunden-Bereich. Dieser Overhead ist vernachlässigbar im Vergleich zu Netzwerk-Latenzen (50–500 ms) und Inferenzzeiten.

5. Bedeutung und Ausblick

LLM-Rosetta löst das Integrationsproblem im LLM-Ökosystem durch eine elegante Abstraktionsebene.

Praktische Relevanz: Es ermöglicht Anwendungen, flexibel zwischen Anbietern zu wechseln oder Multi-Provider-Architekturen zu bauen, ohne den Code anpassen zu müssen.
Produktions-Einsatz: Das Framework wird bereits im Argo-Proxy am Argonne National Laboratory eingesetzt, wo es 2.000 Zeilen an manueller Mapping-Code ersetzt hat und die Unterstützung für vier API-Standards sowie bidirektionales Streaming ermöglicht.
Zukunft: Während die Abdeckung der vier Haupt-APIs (OpenAI Chat/Responses, Anthropic, Google) den Großteil des Marktes abdeckt, sind nicht-chat-basierte Modalitäten (Embeddings, Fine-Tuning) noch nicht integriert. Das Framework ist jedoch so designed, dass es durch das provider_extensions-Mechanismus und die modulare Ops-Architektur leicht erweiterbar bleibt.

Zusammenfassend beweist das Paper, dass eine Hub-and-Spoke-IR die effektivste Methode ist, um die kombinatorische Komplexität von LLM-APIs zu beherrschen, ohne dabei die semantische Integrität oder die Performance zu opfern.