🤖 AI

Collaborative Agent Reasoning Engineering (CARE): A Three-Party Design Methodology for Systematically Engineering AI Agents with Subject Matter Experts, Developers, and Helper Agents

Het artikel introduceert Collaborative Agent Reasoning Engineering (CARE), een systematische, fase-gestuurde methodologie die een workflow van drie partijen – vakexperts, ontwikkelaars en LLM-hulpagenten – benut om informele domeinintenties om te zetten in rigoureuze, verifieerbare specificaties voor het bouwen van betrouwbare AI-agenten in wetenschappelijke domeinen.

Oorspronkelijke auteurs: Rahul Ramachandran, Nidhi Jha, Muthukumaran Ramasubramanian

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rahul Ramachandran, Nidhi Jha, Muthukumaran Ramasubramanian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hoogopgeleide robotassistent probeert te bouwen om wetenschappers te helpen specifieke gegevens te vinden in een enorme bibliotheek. In het verleden probeerden mensen deze robots te leren door simpelweg met hen te praten, te raden wat ze moesten zeggen, en op het beste te hopen. Dit is als proberen een hond complexe wiskunde te leren door er willekeurige woorden tegen te schreeuwen; soms werkt het, maar meestal is het een rommel van proef en fout.

Dit artikel introduceert CARE (Collaborative Agent Reasoning Engineering), een nieuwe, gedisciplineerde manier om deze AI-assistenten te bouwen. In plaats van te raden, behandelt CARE het bouwen van een AI als het bouwen van een brug: je hebt een strikt blauwdruk nodig, een team van experts en een stap-voor-stap inspectieproces.

Hier is hoe CARE werkt, uiteengezet in eenvoudige concepten:

Het Drie-Partijen Team

CARE is niet zomaar een mens die met een computer praat. Het is een drieweggesprek tussen:

De Vakexperts (SME's): De wetenschappers die de regels van het spel kennen (bijvoorbeeld: "We vertrouwen alleen gegevens uit 2020" of "Raad nooit het antwoord").
De Ontwikkelaars: De ingenieurs die weten hoe ze de robot moeten bouwen.
De "Hulpagenten": Dit zijn speciale AI-assistenten wiens enige taak het is om de mensen te helpen met elkaar te communiceren. Denk aan hen als een super-efficiënt schrijver of een vertaler. Ze luisteren naar de wetenschappers, stellen verhelderende vragen en schrijven de regels op in een duidelijk, gestructureerd formaat dat de ontwikkelaars kunnen begrijpen.

Het Probleem: De "Gekartelde Grens"

Het artikel legt uit dat AI lijkt op een gekarteld berglandschap. Soms is het ongelooflijk slim en behulpzaam; op andere momenten is het verward en verzonnen het feiten. Als je een expert bent, weet je hoe je de veilige paden moet navigeren. Als je een novice bent, kun je misschien van een afgrond afdwalen. Het doel van CARE is om de AI zo te bouwen dat het zich gedraagt als de expert, ongeacht wie het gebruikt.

Het CARE-Process: Een Vijf-Stappen Bouwplaats

In plaats van gewoon een prompt in te typen en op het beste te hopen, gebruikt CARE een "stadium-gated" proces. Dit betekent dat je niet naar de volgende stap kunt gaan totdat de huidige stap is goedgekeurd door de mensen.

Omvang en Decompositie: Het team definieert het doel. Wat moet deze robot precies doen? De Hulpagent helpt de grenzen op te schrijven.
Essentiële Informatie-ontsluiting: Het team verzamelt de "tools" en "context". Op welke databases kan de robot toegang krijgen? Hoe ziet een correct antwoord eruit? De Hulpagent zet deze antwoorden om in een checklist.
Redeneringsbeleid en Veiligheidsrails: Dit is het belangrijkste onderdeel. Het team beslist hoe de robot denkt. Wanneer moet het om hulp vragen? Wanneer moet het zeggen "Ik weet het niet"? De Hulpagent schetst deze regels, en de mensen keuren ze goed.
Prompt Architectuur: Pas nadat de regels zijn vastgesteld, schrijft het team de daadwerkelijke instructies (de "prompt") voor de AI. Omdat de regels al duidelijk zijn, is de prompt slechts een vertaling van die goedgekeurde regels, geen gok.
Benchmarking en Verificatie: Voordat de robot aan het werk gaat, legt het een toets af. Het team maakt een reeks vragen om te zien of de robot daadwerkelijk de regels volgt die ze hebben opgeschreven.

De "Hulpagent" Analogie

Denk aan de Hulpagent als een bouwvoorman.

De Wetenschapper (SME) zegt: "Ik heb een muur nodig die veilig en sterk is."
De Ontwikkelaar zegt: "Oké, ik bouw het."
Zonder een voorman zouden ze misschien ruzie maken over wat "sterk" betekent, of zou de ontwikkelaar een muur bouwen die er goed uitziet maar instort.
Met de Hulpagent treedt deze tussenbeide en zegt: "Wetenschapper, betekent 'sterk' dat het 500 pond kan dragen? Ontwikkelaar, voldoet uw plan aan die eis van 500 pond?" Het schrijft de exacte specificaties op in een contract (het "artefact"). Als het plan later verandert, wordt het contract bijgewerkt, en weet iedereen precies wat er veranderd is.

De Realiteitstest: De NASA Case Study

Om te bewijzen dat dit werkt, bouwde het team een AI-agent voor NASA om te zoeken in een enorme catalogus van aardwetenschappelijke gegevens (het NASA Common Metadata Repository).

De Wedstrijd: Ze bouwden twee agenten.
- Agent A (De CARE Agent): Gebouwd met het strikte 5-stappen CARE-proces met de Hulpagent.
- Agent B (De Baseline): Gebouwd op de "oude manier" (alleen met hetzelfde AI-model en dezelfde tools, maar zonder het strikte CARE-proces).
De Resultaten:
- Bij een grote, geautomatiseerde test van 621 vragen vond de CARE-agent het juiste antwoord als eerste 71,7% van de tijd, terwijl de oude manier slechts 69,1% scoorde.
- Bij een kleinere, moeilijkere test die door echte NASA-wetenschappers was gemaakt (43 vragen), vond de CARE-agent het juiste antwoord in de top 5 resultaten 27,2% van de tijd, beter dan de 20,2% van de oude manier.

De Conclusie

Het artikel beweert dat door een gestructureerd proces te gebruiken waarbij mensen en "Hulpagenten" samenwerken om duidelijke regels op te schrijven voordat de AI wordt gebouwd, je een betrouwbaardere, veiligere en beter presterende robot krijgt. Het verandert het chaotische kunst van "prompt engineering" in een voorspelbare engineeringdiscipline.

Belangrijke Opmerking: Het artikel testte dit alleen op het vinden van wetenschappelijke gegevens. Het claimt niet dat deze methode werkt voor medische diagnose, juridisch advies of andere specifieke velden, tenzij die velden expliciet worden genoemd in toekomstig werk, wat dit artikel niet behandelt. Het succes is strikt beperkt tot het gegeven voorbeeld van NASA-gegevenszoekopdrachten.

1. Probleemstelling

Het artikel adresseert de "gezaagde technologische grens" van Large Language Models (LLM's), waarbij de prestaties sterk inconsistent zijn en afhankelijk van de vaardigheid van de gebruiker. Hoewel LLM's potentie bieden voor wetenschappelijke workflows, bestaat er een kloof tussen beginnende en expertanalisten:

Beginners accepteren vaak vloeiende maar onjuiste resultaten of specificeren onvoldoende beperkingen.
Experts passen consequent domeinbeperkingen toe, verifiëren outputs en structureren meerstapsworkflows.
Huidige Beperkingen: Het bouwen van betrouwbare AI-agenten berust doorgaans op trial-and-error promptiteratie, wat leidt tot systemen die stil falen, regressie vertonen na kleine wijzigingen of overfitten op smalle testcases. Er ontbreekt een gedisciplineerde engineeringmethodologie om taciete expertkennis om te zetten in expliciete, verifieerbare en onderhoudbare agentspecificaties.

2. Methodologie: CARE (Collaborative Agent Reasoning Engineering)

CARE is een fasen-gestuurde, artefactgedreven methodologie die agentontwikkeling herformuleert als een collaboratief engineeringproces. Het introduceert een drie-partijenworkflow waarbij:

Onderwerpexperts (SME's): Domeinkennis en beperkingen leveren.
Ontwikkelaars: Technische oplossingen en tool-orchestratie implementeren.
Helper-agenten: LLM-gebaseerde facilitators die fungeren als "specificatie-infrastructuur", informele SME-intent omzetten in gestructureerde, reviewbare artefacten.

Kernontwerpdoelen

CARE deconstrueert een agent in vier ontwerpdoelen, elk gekoppeld aan specifieke artefacten:

Interactiebeleid & Redeneerstrategie: Hoe de agent taken decomposeert, omgang met onzekerheid beheert en stappen verifieert.
Domeingrounding: Autoritatieve kennisbronnen en beperkingen om hallucinaties te voorkomen.
Tool-orchestratie: Logica voor het selecteren, oproepen en valideren van externe tools (API's).
Evaluatie & Verificatie: Metrieken en benchmarks om regressies te detecteren.

Het Vijf-fasenproces

De methodologie verloopt via vijf fasen met strikte fasengates (menselijke goedkeuring vereist om door te gaan):

Fase 1: Scope en Decompositie: Definieer de workflow, gebruikers en beperkingen. Helper-agenten schrijven initiële scope-artefacten.
Fase 2: Key Information Elicitation: Gestructureerde verzameling van Tools (API's/beperkingen), Context (retrievalstrategieën) en Outputformaat (sjablonen/provenance).
Fase 3: Redeneerbeleid en Guardrails: Definieer expliciet faalmodi, veiligheidsgrenzen en beslissingslogica (bijv. wanneer om verduidelijking vragen versus wanneer af te zien).
Fase 4: Promptarchitectuur & Implementatie: Vertaal goedgekeurde artefacten naar de daadwerkelijke agentprompt met behulp van gevestigde patronen (bijv. planning, kritiek, tool-gebruik scaffolding).
Fase 5: Benchmarking en Verificatie: Definieer realistische querysets en scorecriteria om prestaties te valideren voordat ze worden ingezet.

Kernmechanisme: Helper-agenten handhaven continuïteit door artefacten uit eerdere fasen te hergebruiken, waardoor teams kunnen itereren zonder uit lijn te raken. Alle artefacten zijn versiebewaard (bijv. in GitHub) om auditbaarheid te ondersteunen.

3. Kernbijdragen

CARE Framework: Introductie van een gedisciplineerde, drie-partijen (SME, Ontwikkelaar, Helper-agent) methodologie die ad-hoc promptengineering vervangt door een specificatie-eerst aanpak.
Artefactgedreven Ontwerp: Deconstruering van agentfuncties in vier distincte doelen (Beleid, Grounding, Orchestratie, Verificatie) die zijn gekoppeld aan concrete, reviewbare Markdown-artefacten.
Helper-agenten als Infrastructuur: Het nieuwe concept van het gebruik van LLM's niet alleen als de ingezette agent, maar als faciliterende tools om het eliciterings- en specificatieproces te versnellen terwijl mensen in de loop blijven voor goedkeuring.
Empirische Validatie: Een case study die aantoont dat een volgens CARE ontworpen agent een baseline met identieke model- en tooltoegang overtreft, wat bewijst dat het engineeringproces zelf prestatiewinst drijft.

4. Resultaten: NASA Earth Science Case Study

De auteurs evalueerden CARE door een NASA Earth Science Data Discovery Agent te bouwen die de Common Metadata Repository (CMR) API raadpleegt.

Vergelijking:
- $cmr\_care\_v1$ : Gebouwd met de CARE-methodologie.
- $cmr\_simple$ : Een baseline "LLM + Tool"-agent gebouwd via standaard iteratieve prompting (geen CARE-artefacten/gates).
Evaluatiestrategie: Een twee-gate benchmarking-aanpak:
1. Synthetische Gate: 621 queries gegenereerd uit onderzoekspapers (snelle iteratie).
2. Gouden Gate: 43 queries geformuleerd door SME's (validatie met hoge zekerheid).
Metrieken: Recall@K (proportie van ground-truth datasets gevonden in de top K resultaten).

Prestatie-uitkomsten:

Metriek	Synthetische Gate (n=621)	Gouden Gate (n=43)
Metriek	Recall@1	Recall@5
CARE Agent	71,7%	27,2%
Baseline	69,1%	20,2%
Verbetering	+2,6%	+7,0%

Opmerking: De CARE-agent toonde statistisch significante verbeteringen, met name in de SME-gegrounde Gouden Gate (Recall@5), wat wijst op een betere hantering van complexe, expertniveau queries.

5. Betekenis en Beperkingen

Betekenis:

Kloof in Vaardigheden Overbruggen: CARE operationaliseert expertworkflows, waardoor agenten betrouwbaar kunnen presteren zonder dat elke gebruiker een expert promptengineer hoeft te zijn.
Onderhoudbaarheid: Door prompts te behandelen als afgeleide outputs van versiebewaarde artefacten, maakt CARE agenten makkelijker te auditeren, updaten en onderhouden naarmate modellen of tools veranderen.
Betrouwbaarheid: Het fasen-gestuurde proces dwingt tot expliciete definitie van guardrails en faalmodi, wat "stille fouten" die gebruikelijk zijn bij trial-and-error ontwikkeling, vermindert.

Beperkingen & Toekomstig Werk:

Kwaliteit Helper-agent: De methodologie is sterk afhankelijk van het vermogen van de helper-agent om de juiste vragen te stellen; slechte elicitering kan leiden tot ontbrekende beperkingen.
Benchmarksensitiviteit: Resultaten zijn afhankelijk van de specifieke benchmarkconstructie; er is een risico op "leren voor de toets" als de helper-agent onbedoeld optimaliseert voor de benchmarkverdeling.
Modeldrift: Wijzigingen in onderliggende LLM's kunnen de naleving van redeneerbeleid veranderen, wat periodieke herverificatie vereist.
Toekomstige Richting: De auteurs plannen om CARE te testen over meerdere domeinen en tool-ecosystemen om te identificeren welke fasen de grootste prestatiewinst opleveren.

Concluderend toont CARE aan dat systematische engineering—en niet alleen modelcapaciteit—de kritieke factor is in het bouwen van robuuste, betrouwbare en hoogpresterende AI-agenten voor wetenschappelijke en technische domeinen.