TRINITY: An Evolved LLM Coordinator

Het paper introduceert Trinity, een lichtgewicht coördinator die door middel van een evolutionaire strategie diverse grote taalmodellen dynamisch toewijst aan specifieke rollen (Denker, Werknemer of Verificator) om complexe taken efficiënter op te lossen dan bestaande methoden en individuele modellen.

De kern

🌟 TRINITY: De Slimme Regisseur van een AI-Orkest

Stel je voor dat je een enorme, moeilijke puzzel moet oplossen. Je hebt toegang tot zeven verschillende experts:

• Een wiskundig genie.
• Een programmeur die als een bliksemschicht code schrijft.
• Een logisch denker die elke stap controleert.
• En nog een paar andere specialisten.

In het verleden heb je vaak maar één expert kunnen gebruiken. Soms was dat de programmeur, en dan faalde hij op wiskunde. Soms was het de wiskundige, en dan schreef hij slechte code. Je kon ze niet zomaar "samenvoegen" tot één supermens, want hun hersenen (de computercode) waren te verschillend gebouwd.

TRINITY is de oplossing voor dit probleem. Het is geen nieuwe super-expert, maar een slimme regisseur.

🎭 Hoe werkt het? De Regisseur en de Drie Rollen

TRINITY gebruikt een heel klein, lichtgewicht "hoofd" (een kleine AI van slechts 0,6 miljard parameters, vergeleken met de enorme modellen van 30+ miljard). Dit kleine hoofd fungeert als een toneelregisseur.

Wanneer jij een vraag stelt, kijkt de regisseur niet zelf naar het antwoord. In plaats daarvan kijkt hij naar de sfeer van de vraag en kiest hij welke expert er aan het werk moet, en wat die expert precies moet doen. Hij verdeelt het werk in drie rollen:

1. De Denker (Thinker): Deze expert breekt het probleem op in stukjes. "Oké, we moeten eerst de afvalwaarde berekenen, dan het jaarlijks percentage..." Hij maakt een plan.
2. De Werkman (Worker): Deze expert voert het plan uit. Hij doet de rekenkunde of schrijft de code. Hij is de uitvoerder.
3. De Controleur (Verifier): Deze expert kijkt kritisch naar het werk. "Zit hier een fout? Is het antwoord logisch? Moeten we het opnieuw doen?" Als hij tevreden is, zegt hij: "Goed zo, dit is het eindantwoord!"

De regisseur schakelt deze experts om en om in. Eerst de Denker, dan de Werkman, dan de Controleur. Als de Controleur nog twijfelt, roept de regisseur de Denker weer bij voor een nieuw plan.

🧠 Waarom werkt dit zo goed? De "Geheime Tekens"

Je zou denken: "Waarom gebruiken we niet gewoon een andere grote AI als regisseur?"
Het paper legt uit dat een grote AI te traag en te duur is om dit te doen. TRINITY gebruikt een heel klein model. Maar hier is de magische truc:

De kleine regisseur leest niet alleen de tekst van de vraag. Hij kijkt naar de geheime gedachten (de "verborgen staten") van het kleine model terwijl het de vraag leest.

• Vergelijking: Stel je voor dat je een acteur op het toneel ziet. Je ziet niet alleen wat hij zegt, maar ook hoe hij ademt, hoe zijn ogen bewegen en hoe hij staat. Die "geheime signalen" vertellen je of hij zenuwachtig is of zelfverzekerd.
• TRINITY leest die "geheime signalen" van de vraag en weet daardoor precies: "Ah, dit is een lastige code-vraag, ik moet de programmeur sturen!" of "Dit is een wiskundig raadsel, de Denker moet eerst het plan maken."

🚀 Hoe leren ze dit? Evolutie in plaats van School

Normaal gesproken leer je een AI door hem duizenden voorbeelden te geven (zoals school). Maar omdat TRINITY continu nieuwe experts moet kiezen, is het te duur om voor elke situatie een "goed antwoord" te hebben.

Daarom gebruiken de makers een methode die lijkt op natuurlijke evolutie (CMA-ES):

1. Ze laten de regisseur een beetje "moeilijk" doen.
2. Ze kijken of het resultaat goed is.
3. Als het goed is, houden ze die instellingen vast. Als het slecht is, passen ze het een beetje aan.
4. Ze doen dit duizenden keren, maar heel slim en gericht.

Het is alsof je een team van regisseurs hebt die een wedstrijd spelen. Degenen die het beste resultaat halen, krijgen een beetje meer "kwaliteit" in hun hersenen. Na een tijdje hebben ze geleerd precies de juiste expert op het juiste moment te kiezen, zonder dat ze ooit een "antwoordenboekje" hebben gezien.

🏆 Wat is het resultaat?

TRINITY is een enorme doorbraak.

• Recordbreker: Op de LiveCodeBench (een test voor programmeervaardigheden) haalde TRINITY 86,2% succes. Dat is een nieuw wereldrecord, beter dan de beste individuele AI's ter wereld (zoals GPT-5 of Gemini).
• Alles-in-één: Waar andere methoden soms goed zijn in wiskunde maar slecht in code, doet TRINITY het overal goed. Het combineert de sterktes van alle experts.
• Efficiëntie: Het kost minder rekenkracht dan het laten werken van een gigantische AI, omdat het slimme keuzes maakt in plaats van alles zelf te doen.

🎯 Samenvatting in één zin

TRINITY is een slimme, lichte regisseur die een team van verschillende AI-experts aanstuurt door hun sterke punten te combineren, waardoor ze samen problemen oplossen die geen enkele AI alleen kan oplossen.

Het bewijst dat de toekomst niet alleen gaat om het bouwen van steeds grotere, zwaardere AI's, maar om het slim samenwerken van een divers team onder leiding van een slimme manager.

Technische samenvatting

Probleemstelling

Het combineren van diverse foundation-modellen (LLMs) om hun gezamenlijke sterke punten te benutten is een veelbelovende richting, maar bestaande methoden hebben aanzienlijke beperkingen:

1. Gewichts-merging (Micro-level): Het samenvoegen van modelgewichten is vaak onuitvoerbaar vanwege incompatibele architecturen en de gesloten nature van veel top-modellen (API's).
2. Bestaande coördinatiemethoden (Macro-level): Methoden zoals "Mixture of Agents" (MoA) of routing-systemen zijn vaak statisch, vereisen dure inferentie of vertrouwen op handmatig ontworpen patronen. Ze missen vaak een adaptief mechanisme om complexe vaardigheden te leren zonder de modellen zelf opnieuw te trainen.

Het centrale uitdaging is het ontwikkelen van een coördinator die een rijk contextueel begrip van een query heeft om effectieve beslissingen te nemen over welk model welke rol moet spelen, zonder de gewichten van de onderliggende modellen aan te passen.

Methodologie: TRINITY

TRINITY is een lichtgewicht raamwerk dat een kleine taalmodel (SLM) gebruikt als coördinator om een pool van diverse LLM's (zowel open-source als gesloten API's) te orchestreren via een meertrapsprotocol.

1. Architectuur en Parametrisatie:

• Coördinator: Bestaat uit een voorgeïnstalleerd SLM (Qwen3-0.6B, ca. 0,6 miljard parameters) en een extreem lichtgewicht "head" (ca. 10.000 parameters).
• Efficiënte Finetuning: In plaats van de hele SLM te finetunen, past TRINITY alleen de singuliere waarden (singular value scales) van een geselecteerde subset van de lagen van de SLM aan. Dit houdt het totaal aantal leerbare parameters onder de 20.000.
• Input: De head gebruikt de verborgen toestand (hidden state) van de voorlaatste token van de SLM als input. Deze toestand bevat rijke contextuele informatie over de volledige conversatie tot nu toe.
• Output: De head genereert logits voor twee beslissingen:
  1. Welk LLM uit de pool moet worden geselecteerd.
  2. Welke rol deze agent moet aannemen.

2. De Tri-Rol Coördinatie (Tri-Role Protocol):
TRINITY delegeert complexe taken door agents een van drie specifieke rollen toe te wijzen:

• Thinker (Denker): Ontwerpt hoog-niveau strategieën, deconstrueert taken en geeft meta-richtlijnen.
• Worker (Werker): Voert concrete probleemoplossende stappen uit (bijv. code schrijven, berekeningen maken).
• Verifier (Verificateur): Evalueert de oplossing op juistheid en volledigheid. Als de verifier accepteert, stopt het proces; anders wordt er een nieuwe ronde gestart.

3. Trainingsstrategie: Sep-CMA-ES
Het optimaliseren van deze mapping is uitdagend vanwege de hoge dimensie, zwakke parametercorrelaties en de hoge kosten per evaluatie (elke stap vereist inferentie van externe LLM's).

• Probleem: Traditionele methoden zoals REINFORCE (RL) falen hier vanwege een laag signaal-ruisverhouding (low-SNR) en slechte credit assignment bij binaire beloningen.
• Oplossing: TRINITY gebruikt separable Covariance Matrix Adaptation Evolution Strategy (sep-CMA-ES).
  • Dit is een derivatievrije evolutionaire strategie die alleen een diagonale covariantiematrix bijwerkt.
  • De auteurs tonen theoretisch en empirisch aan dat het optimalisatieprobleem block-ε-separabel is. Dit betekent dat de parameters in blokken kunnen worden opgesplitst waarbij blokken onafhankelijk van elkaar kunnen worden geoptimaliseerd.
  • Sep-CMA-ES overtreft hierdoor significant RL, imitatielearning (SFT) en willekeurig zoeken (Random Search) onder strikte budgetten.

Belangrijkste Bijdragen

1. Lichtgewicht Coördinatie: Het bewijs dat rijke contextuele signalen uit de verborgen staten van een klein model (SLM) voldoende zijn voor een minuscule head om meerdere grote modellen effectief te coördineren.
2. Efficiënte Trainingsmethodologie: Het aantonen dat sep-CMA-ES de superieure keuze is voor optimalisatie onder budgetbeperkingen en hoge dimensies, in plaats van traditionele RL-methoden.
3. State-of-the-Art Prestaties: Het bereiken van nieuwe records op diverse benchmarks zonder de onderliggende modellen opnieuw te trainen.

Resultaten

TRINITY werd getest op vier in-distribution benchmarks (Math500, MMLU, RLPR, LiveCodeBench) en vier onbekende (zero-shot) taken.

• LiveCodeBench Record: TRINITY bereikte een pass@1 van 86,2% op LiveCodeBench (V6, januari-april 2025), wat een nieuw state-of-the-art record is. Dit is een significante verbetering ten opzichte van de beste individuele modellen (GPT-5: 83,8%, Gemini 2.5-Pro: 67,2%).
• Algemene Prestaties: TRINITY presteerde consistent beter dan alle individuele modellen in de pool, zelfs wanneer deze modellen een 5x grotere inferentie-begroting kregen (meer tokens of self-reflection).
• Zero-Shot Generalisatie: Het systeem generaliseerde uitstekend naar ongezette taken zoals AIME, BigCodeBench, MT-Bench en GPQA-D, waarbij het elke individuele base-model overtrof.
• Efficiëntie: TRINITY gebruikt aanzienlijk minder tokens dan methoden zoals MoA of Smoothie, terwijl het betere resultaten oplevert.

Analyse van Succesfactoren:

• Scheidbaarheid: De verborgen staten van de SLM tonen een bijna perfecte lineaire scheidbaarheid voor taaktypes, wat de lichtgewicht head in staat stelt effectieve beslissingen te nemen.
• Optimalisatie: Sep-CMA-ES leert een agent-distributie die sterk varieert per taak (bijv. GPT-5 voor codering, Gemini voor redenering), terwijl RL-methoden vaak vastlopen in uniforme distributies.

Significantie en Toekomstperspectief

TRINITY markeert een verschuiving in het paradigma van AI-ontwikkeling: van het schalen van monolithische modellen naar het engineeren van collaboratieve AI-ecosystemen. Het bewijst dat het mogelijk is om de grenzen van de huidige state-of-the-art modellen te verleggen door slimme coördinatie en dynamische rollenverdeling, zonder de kosten en complexiteit van het samenvoegen van gewichten of het opnieuw trainen van enorme modellen.

Een beperking die wordt erkend is de kloof tussen abstract redeneren en gebonden uitvoering (het systeem kan plannen maken met tools, maar kan deze nog niet zelf uitvoeren). Toekomstig werk richt zich op het integreren van een heterogene pool van agents, inclusief code-interpreters en API's, om deze kloof te overbruggen.