LLM-Rosetta: A Hub-and-Spoke Intermediate Representation for Cross-Provider LLM API Translation
LLM-Rosetta is een open-source framework dat een hub-and-spoke-intermediaire representatie gebruikt om de fragmentatie tussen verschillende LLM-API-aanbieders op te lossen door bidirectionele, verliesvrije vertaling met minimale latentie mogelijk te maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een wereldreizen wilt maken, maar elke luchtvaartmaatschappij (OpenAI, Anthropic, Google) heeft zijn eigen unieke taal, zijn eigen formulieren en zijn eigen manier om tickets te boeken.
Als je van Amsterdam naar Parijs wilt vliegen met Airline A, en dan van Parijs naar Berlijn met Airline B, moet je twee keer je hele koffer uitpakken en opnieuw inpakken in een heel ander formaat. Als je naar tien verschillende landen wilt reizen, moet je voor elke combinatie een nieuwe vertaler vinden. Dit is precies het probleem waar ontwikkelaars van kunstmatige intelligentie (LLM's) mee zitten. Elk bedrijf heeft een eigen "API" (de taal die computers gebruiken om met elkaar te praten), en ze praten allemaal een beetje anders.
Dit papier introduceert LLM-Rosetta, een slimme oplossing die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaags taalgebruik:
1. Het Probleem: De "N²" Chaos
Stel je voor dat je een groep vrienden hebt die allemaal een andere taal spreken. Als er 4 vrienden zijn, moet je 6 verschillende vertalers hebben om iedereen met elkaar te laten praten (A met B, A met C, B met C, enzovoort). Als er 10 vrienden zijn, heb je er 45 nodig. Dit wordt een enorme chaos en kost veel tijd en geld. In de tech-wereld noemen ze dit het O(N²) probleem: hoe meer aanbieders er zijn, hoe onmogelijker het wordt om ze allemaal met elkaar te verbinden.
2. De Oplossing: De Hub-and-Spoke (Naaimachine)
De auteurs van dit papier zeggen: "Wacht even, laten we niet iedereen met elkaar laten praten. Laten we allemaal naar één centrale taal gaan."
Ze bouwen een Hub-and-Spoke systeem (een naaimachine met een centrale as).
- De Hub (Het Centrum): Dit is een universele, neutrale taal die ze Intermediate Representation (IR) noemen. Denk hieraan als een soort "Internationale Standaard" of een "Gouden Standaard" voor AI-berichten.
- De Spokes (De Wielen): Elke AI-aanbieder (OpenAI, Google, etc.) heeft nu maar één taak: hun eigen taal vertalen naar deze centrale standaard, en vice versa.
In plaats van 45 vertalers, heb je nu maar 8 nodig (4 vertalers naar de standaard en 4 vertalers van de standaard). Het probleem is opgelost!
3. Wat zit er in die "Standaard"?
De onderzoekers hebben ontdekt dat, hoewel de talen van de verschillende bedrijven er heel anders uitzien (verschillende woorden, verschillende volgorde), de betekenis eigenlijk hetzelfde is.
- Iedereen stuurt een bericht.
- Iedereen kan een afbeelding of een bestand sturen.
- Iedereen kan een "gereedschap" gebruiken (zoals een rekenmachine of een zoekmachine).
- Iedereen kan "nadenken" (reasoning) voordat hij antwoordt.
LLM-Rosetta pakt al deze onderdelen en zet ze in een strakke, gestandaardiseerde doos (de IR). Het maakt niet uit of het originele bericht in het Chinees, het Frans of het Duits was; in de doos zit gewoon: "Hier is een tekst, hier is een plaatje, hier is een vraag."
4. Hoe werkt het in de praktijk? (De Vertaalmachine)
Stel je voor dat je een bericht stuurt naar Google, maar je wilt dat het eruitziet alsof het van OpenAI komt.
- Ontvangst: LLM-Rosetta pakt het Google-bericht op.
- Vertaling naar de Hub: Het vertaalt het Google-bericht naar de neutrale "Standaardtaal" (de IR).
- Vertaling naar de Bestemming: Het pakt die standaardtaal en vertaalt hem direct naar het OpenAI-formaat.
- Stroomgevoeligheid: Dit werkt zelfs als het bericht in kleine stukjes (streaming) binnenkomt, alsof je een live video bekijkt. LLM-Rosetta zorgt ervoor dat de stukjes in de juiste volgorde blijven, zelfs als de ene provider de stukjes in een andere volgorde stuurt dan de andere.
5. Waarom is dit zo cool?
- Verliesvrij: Het systeem is zo nauwkeurig dat je het bericht kunt vertalen naar de standaard en weer terug naar het origineel, en het ziet er precies hetzelfde uit (als een perfecte kopie).
- Snelheid: Het duurt minder dan een duizendste seconde om te vertalen. Dat is zo snel dat je het nauwelijks merkt, net als het omslaan van een pagina in een boek.
- Toekomstbestendig: Als er morgen een nieuwe AI-bedrijf komt, hoef je niet alles opnieuw te bouwen. Je maakt gewoon één nieuwe "vertaler" die die nieuwe taal naar de standaard brengt, en klaar is Kees.
Conclusie
LLM-Rosetta is als een universele stekkeradapter voor de wereld van AI. In plaats van dat elke ontwikkelaar een eigen kabeltje moet maken voor elk bedrijf, kunnen ze nu allemaal gebruikmaken van één universele stekker (de Hub). Het maakt het makkelijker om te schakelen tussen aanbieders, makkelijker om te testen, en zorgt ervoor dat de toekomst van AI niet vastzit aan één enkel bedrijf.
Het is een slimme manier om de chaos van verschillende talen om te zetten in een harmonieus gesprek, waarbij de betekenis altijd behouden blijft, ongeacht wie er spreekt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.