Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents

Dit paper introduceert het Agent Data Protocol (ADP), een lichtgewicht representatietaal die verspreide agentdatasets standaardiseert, waardoor efficiënter fine-tuning mogelijk wordt met aanzienlijke prestatieverbeteringen op diverse taken zonder domeinspecifieke aanpassingen.

De kern

Stel je voor dat je een super-intelligente robot wilt bouwen die niet alleen tekst kan schrijven, maar ook echt werk kan doen: software programmeren, op het internet zoeken, bestanden beheren en complexe taken uitvoeren. Dit noemen we een "AI-agent".

Het probleem is dat er al duizenden voorbeelden zijn van hoe deze robots taken uitvoeren. Maar deze voorbeelden liggen verspreid over de hele wereld in verschillende "talen" en formaten. Het is alsof je duizenden recepten hebt, maar sommige zijn geschreven in het Frans, andere in het Japans, weer anderen in een eigen code die niemand anders begrijpt. Als je een chef-kok wilt worden die van al deze recepten kan leren, moet je ze eerst allemaal vertalen naar één standaardtaal voordat je kunt koken. Dat proces is tot nu toe extreem moeilijk en tijdrovend geweest.

Dit is precies wat het nieuwe onderzoek "Agent Data Protocol" (ADP) oplost.

Hier is een simpele uitleg van wat ze hebben gedaan, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Talenbarrière" in de Robotwereld

Vroeger was het zo dat elke groep onderzoekers hun eigen manier van data verzamelen had.

• Groep A hield bij wat de robot deed in een Excel-sheet.
• Groep B schreef het op in een heel specifiek computerprogramma.
• Groep C gebruikte een andere manier om te beschrijven hoe de robot op een website klikte.

Als je een nieuwe robot wilde trainen, moest je eerst een heleboel ingenieurs inhuren om al die verschillende formaten één voor één om te zetten naar jouw eigen systeem. Het was alsof je een restaurant zou openen waar je voor elke klant een andere taal moet spreken, in plaats van gewoon een menukaart te hebben die iedereen begrijpt. Hierdoor werden veel waardevolle data nooit gebruikt.

2. De Oplossing: ADP is de "Wereldtaal" voor Robots

De auteurs van dit paper hebben een nieuwe standaard bedacht, genaamd ADP (Agent Data Protocol).

De Metafoor: De Universele Adapter
Stel je voor dat je een wereldwijze reis maakt. Je hebt een telefoonlader, maar elk land heeft een ander stopcontact. Je zou voor elk land een nieuwe lader moeten kopen.
ADP is de universele adapter.

• Alle verschillende data (de "stopcontacten") worden eerst aangesloten op deze adapter.
• De adapter zet alles om naar één standaardstekker (het ADP-formaat).
• Nu kan elke robot (jouw telefoon) die stekker direct gebruiken, ongeacht waar de data vandaan komt.

Met ADP hoeven onderzoekers niet meer voor elke dataset een nieuwe vertaler te bouwen. Ze zetten het een keer om naar ADP, en dan kan elke robot het gebruiken.

3. Wat zit er in deze "Adapter"?

ADP is heel slim ontworpen. Het ziet elke interactie van een robot als een gesprek van twee dingen:

1. Acties: Wat doet de robot? (Bijvoorbeeld: "Ik klik op deze knop", "Ik schrijf deze code", "Ik bel deze telefoon").
2. Observaties: Wat ziet de robot? (Bijvoorbeeld: "Het scherm toont nu een foutmelding", "De website is geladen", "De code is uitgevoerd").

Of het nu gaat om het oplossen van een bug in software, het kopen van een ticket op een website, of het zoeken naar informatie: ADP vertaalt alles naar deze simpele "Actie-Observatie" taal.

4. Het Resultaat: Een Super-Robot

De onderzoekers hebben 13 verschillende datasets (met in totaal 1,3 miljoen voorbeelden!) omgezet naar dit ene ADP-formaat. Vervolgens hebben ze een AI-model getraind met al deze data samen.

Wat gebeurde er?

• De "Mix" werkt beter: Door de robot te laten leren van alles (coderen, zoeken, tools gebruiken) in plaats van alleen van één ding, werd hij veel slimmer. Het is alsof een student die alleen wiskunde doet, beter wordt in logisch denken als hij ook geschiedenis en muziek studeert.
• Enorme verbetering: De robot werd gemiddeld 20% beter dan de modellen die er voorheen waren.
• Geen specialisatie nodig: De robot deed het goed op coderen, webbladeren én het gebruik van tools, zonder dat ze hem voor elk vak apart moesten trainen. Hij werd een echte "generalist".

5. Waarom is dit belangrijk voor de toekomst?

Voorheen was het trainen van slimme robots een dure en moeilijke klus, alleen voor grote bedrijven met veel ingenieurs. Met ADP wordt het een stuk makkelijker:

• Schaalbaar: Je kunt nu makkelijk nieuwe data toevoegen.
• Open Source: De onderzoekers hebben alles gratis beschikbaar gesteld.
• Snelheid: Het kost veel minder tijd om nieuwe robots te bouwen die kunnen leren van bestaande kennis.

Kortom:
Dit paper introduceert een soort "gemeenschappelijke taal" voor AI-robots. Hierdoor kunnen onderzoekers eindelijk alle stukjes puzzel die al bestaan samenvoegen tot één groot, krachtig plaatje. Het maakt het trainen van slimme, handige AI-assistenten niet alleen mogelijk, maar ook veel sneller, goedkoper en effectiever. Het is de eerste stap naar een wereld waar AI-assistenten echt alledaagse taken voor ons kunnen klaren.

Technische samenvatting

Probleemstelling

Hoewel er een groeiend aantal datasets beschikbaar is voor het trainen van AI-agenten (die sequentiële acties uitvoeren en met de wereld interageren), blijft grootschalig toezichtgefinetuned (Supervised Fine-Tuning of SFT) van deze agenten in de academische wereld zeldzaam. De auteurs identificeren dat de bottleneck niet het ontbreken van data is, maar de fragmentatie ervan.

Bestaande datasets voor agenten (zoals voor coderen, webbrowsing, software-engineering en tool-gebruik) gebruiken elk hun eigen:

• Representatieformaten.
• Actieruimtes (action spaces).
• Observatiestructuren (bijv. HTML vs. toegankelijkheidstruimtes).

Dit gebrek aan standaardisatie maakt het extreem moeilijk om datasets te combineren, te delen of effectief te benutten voor diverse agent-architecturen. Onderzoekers moeten voor elke combinatie van dataset en agent-framework specifieke conversies schrijven, wat leidt tot een kwadratische toename van de engineering-inspanning ($O(D \times A)$, waarbij $D$ het aantal datasets en $A$ het aantal frameworks is).

Methodologie: Het Agent Data Protocol (ADP)

Om dit probleem op te lossen, stellen de auteurs het Agent Data Protocol (ADP) voor. Dit is een lichtgewicht representatietaal die fungeert als een "interlingua" (tussen-taal) tussen heterogene datasets en downstream trainingspipelines.

1. Architectuur en Schema:
ADP is geïmplementeerd als Pydantic-schema's en modelleert agent-interacties als een Traject (Trajectory) object. Een traject bestaat uit een alternerende reeks van twee kerncomponenten:

• Acties (Actions): Beslissingen en gedragingen van de agent.
  • API Acties: Gestructureerde tool-aanroepen (functienaam, argumenten, beschrijving).
  • Code Acties: Codegeneratie en -uitvoering (taal, inhoud, beschrijving).
  • Bericht Acties: Natuurlijke taalcommunicatie tussen agent en gebruiker.
• Observaties (Observations): Percepties van de omgeving.
  • Tekst Observaties: Instructies van de gebruiker of feedback van het systeem.
  • Web Observaties: State van webpagina's (HTML, toegankelijkheidstruimte, URL, viewport, screenshots).

2. Conversiepijplijn:
De auteurs hebben een drie-staps conversiepijplijn ontwikkeld:

1. Raw $\rightarrow$ ADP: Heterogene ruwe data wordt gemapt naar het gestandaardiseerde ADP-schema. Dit gebeurt één keer per dataset.
2. ADP $\rightarrow$ SFT: Het gestandaardiseerde ADP-data wordt omgezet naar het specifieke formaat van een agent-framework (bijv. OpenHands, SWE-Agent, AgentLab). Dit gebeurt één keer per agent-framework.
3. Kwaliteitsborging: Geautomatiseerde validatie om de juistheid van tool-aanroepen, redenering (thoughts) en conversatiestructuur te garanderen.

3. Efficiëntie:
Door deze hub-and-spoke-aanpak wordt de engineering-inspanning lineair ($O(D + A)$) in plaats van kwadratisch. Een nieuwe dataset hoeft slechts één keer naar ADP te worden geconverteerd en is vervolgens direct bruikbaar voor elk ondersteund agent-framework.

Belangrijkste Bijdragen

• ADP Standaard: Een expressieve, maar eenvoudige standaard voor het representeren van complexe agent-trajecten die diverse domeinen (coderen, browsen, tools) dekt.
• ADP Dataset V1: De creatie en publicatie van het grootste tot nu toe beschikbare open-source dataset voor agent-training, bestaande uit 1,3 miljoen trainings-trajecten. Deze dataset is samengesteld uit 13 bestaande datasets (zoals SWE-Gym, Mind2Web, CodeActInstruct, etc.) die zijn omgezet naar ADP.
• Open Source Tooling: De publicatie van alle conversors, schema's en scripts om de community te helpen datasets te standaardiseren en agenten te trainen.
• Cross-Dataset Analyse: Een systematische analyse van de 13 datasets die inzicht geeft in verschillen in trajectlengte, actie-distributie en de aanwezigheid van "function thoughts" (redenering).

Resultaten

De auteurs hebben geëvalueerd of het trainen op de gestandaardiseerde ADP-data leidt tot betere prestaties dan het trainen op individuele datasets of base-modellen.

• Prestatieverbetering: Supervised Fine-Tuning op de ADP-dataset resulteerde in een gemiddelde prestatieverbetering van ~20% ten opzichte van de basismodellen.
• State-of-the-Art (SOTA): De getrainde agenten behaalden SOTA of bijna-SOTA resultaten op diverse benchmarks zonder domeinspecifieke tuning:
  • SWE-Bench (Verified): Een Qwen-2.5-14B model bereikte 34.4% (tegenover 2.0% voor het base-model), wat vergelijkbaar is met of beter is dan gespecialiseerde modellen zoals Claude 3.5 Sonnet.
  • WebArena: Consistente verbeteringen, bijvoorbeeld van 5.5% naar 22.2% voor het 14B model.
  • AgentBench & GAIA: Significante verbeteringen in operationele systemen en algemene AI-assistent taken.
• Cross-Task Transfer: Trainen op de gemengde ADP-corpus (diverse domeinen) presteerde beter dan het trainen op alleen domeinspecifieke data. Dit suggereert dat diversiteit in data helpt bij generalisatie en voorkomt negatieve transfer (vergeten van andere vaardigheden).
• Schalbaarheid: De prestaties namen monotoon toe met de modelgrootte (7B, 14B, 32B), waarbij ADP-getrainde modellen op elke schaal de base-modellen overtroffen.

Betekenis en Impact

Dit paper markeert een belangrijke verschuiving in de ontwikkeling van AI-agenten:

1. Democratisering van Agent Training: Door de barrière voor het combineren van datasets te verlagen, maakt ADP grootschalig, reproduceerbaar en gestandaardiseerd trainen van agenten toegankelijk voor de bredere onderzoeksgemeenschap.
2. Data als Gemeenschappelijke Grondstof: Het benadrukt dat de kwaliteit en diversiteit van data cruciaal zijn, en dat standaardisatie de sleutel is om deze waarde te ontsluiten.
3. Toekomstige Richtingen: De auteurs wijzen op potentiële uitbreidingen naar multimodale data (beelden, schermopnames) en het toepassen van vergelijkbare protocollen op evaluatie-omgevingen om de compositie van datasets, agenten en benchmarks te vereenvoudigen.

Kortom, ADP biedt de noodzakelijke infrastructuur om de fragmentatie in het landschap van agent-data op te lossen en versnelt de vooruitgang in het veld van agent-based AI.