COCORELI: Enforcing Execution Preconditions for Reliable Collaborative Instruction Following
Het artikel introduceert COCORELI, een modulaire architectuur die uitvoeringsbetrouwbaarheid afdwingt door het detecteren van ontbrekende informatie structureel te koppelen aan het voorkomen van actie, waardoor autonome agenten worden geblokkeerd bij het uitvoeren van taken totdat ondergespecificeerde aspecten zijn opgelost via gerichte verduidelijking.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je met een vriend een complex Lego-kasteel bouwt. Jij bent de Architect en je vriend is de Bouwer. Jij geeft instructies zoals: "Plaats een rode steen bovenop de blauwe."
In de echte wereld ga je er misschien van uit dat je vriend weet welke rode steen je bedoelt of precies wat "bovenop" betekent. Maar in de digitale wereld van AI-agenten, als je niet elk detail specificeert, probeert de AI vaak de ontbrekende stukjes te raden. Het kan de verkeerde steen kiezen of deze op de verkeerde plek plaatsen, en omdat het zo zeker is van zijn gok, bouwt het een scheve toren. Eenmaal de fout gemaakt, is het moeilijk om het te herstellen.
Dit paper introduceert een nieuw systeem genaamd COCORELI (wat staat voor Cooperative, Reconstitution & Execution of Language Instructions) om dit probleem op te lossen.
Het Kernprobleem: De "Gok"-Valstrik
Huidige AI-systemen zijn als te enthousiaste stagiairs. Als je hen vraagt om "een vergadering te boeken" en je vergeet te zeggen wie je moet uitnodigen, kunnen ze gewoon een naam verzinnen of een willekeurige persoon uit een lijst kiezen. Ze detecteren dat informatie ontbreekt, maar ze stoppen niet; ze vullen het gat gewoon in met een gok en gaan verder. Dit leidt tot "hallucinaties" (dingen verzinnen) en onveilige acties.
De auteurs betogen dat het detecteren van een ontbrekend stukje informatie niet genoeg is. Je hebt een systeem nodig dat de actie fysiek blokkeert totdat het ontbrekende stukje is gevonden.
De Oplossing: De "Veiligheidsvergrendeling"-Analogie
Beschouw COCORELI als een bouwplaats met een strikte veiligheidsvergrendeling.
- Het Blauwdruk (Gestructureerde Representatie): In plaats van alleen je woorden te lezen, vertaalt COCORELI je instructie naar een strikt digitaal blauwdruk (een JSON-bestand). Elk deel van het blauwdruk heeft een vak: Kleur, Locatie, Type.
- Het Ontbrekende Vak: Als je zegt: "Plaats een steen", heeft het blauwdruk een vak voor "Kleur" dat leeg is.
- De Veiligheidsvergrendeling: In COCORELI heeft de machine een veiligheidsvergrendeling die zegt: "Als er een vak leeg is, kan de machine niet bewegen." Het weigert letterlijk om te bouwen.
- De Verduidelijking: In plaats van te gokken, stopt het systeem onmiddellijk en vraagt het jou: "Welke kleur moet de steen hebben?"
- De Vrijgave: Pas nadat je antwoordt en het vak is ingevuld, geeft de veiligheidsvergrendeling vrij, waardoor de actie kan plaatsvinden.
Hoe Het in de Praktijk Werkt
Het paper testte dit in een gecontroleerde 3D-bouwgame (genaamd OMGEVING) waar fouten permanent zijn. Als je een blok op de verkeerde plek plaatst, stort de constructie in en kun je het niet ongedaan maken.
Ze vergeleken COCORELI met andere populaire AI-methoden:
- Chain-of-Thought (CoT): Als een slimme student die hard nadenkt maar toch het antwoord gokt als ze niet zeker zijn.
- Agentic Frameworks: Als een team werknemers die met elkaar praten maar toch doorgaan als ze denken dat ze genoeg informatie hebben.
- COCORELI: De strenge voorman die geen enkele steen laat leggen totdat elk detail is bevestigd.
De Resultaten:
- Toen instructies perfect waren, deden iedereen het goed.
- Toen instructies details misten (onvolledig waren), bleven de andere systemen gokken en bouwden ze verkeerde structuren.
- COCORELI gokte nooit. Het stopte, vroeg om verduidelijking en bouwde vervolgens de exacte juiste structuur. Het elimineerde "gehallucineerde" acties volledig in deze tests.
De "Kopieer-Plak"-Superkracht (Abstrahering)
Het paper toont ook aan dat COCORELI een patroon kan leren en hergebruiken.
- Scenario: Je bouwt een complexe "Schedel"-vorm met 62 stukjes.
- De Vraag: Later zeg je: "Bouw me nog een Schedel, maar maak het blauw en zet het daar."
- Het Resultaat: COCORELI hoeft je niet alle 62 stappen opnieuw te laten opsommen. Het onthoudt de structuur van de Schedel (het "blauwdruk") en wisselt alleen de kleur en locatie. Andere systemen hadden moeite om het complexe patroon te onthouden zonder elke enkele stap opnieuw te noemen.
De Conclusie
Het paper beweert dat AI echt betrouwbaar moet zijn bij het werken met mensen, we niet alleen kunnen vertrouwen op het "slimmer" maken van de AI of beter gokken. We moeten de architectuur (het ontwerp van het systeem) zo veranderen dat het onmogelijk is voor de AI om te handelen op basis van onvolledige informatie.
COCORELI bewijst dat door ontbrekende informatie te behandelen als een "stopbord" in plaats van een "hint om te gokken", we agenten kunnen bouwen die veilig, betrouwbaar en echt collaboratief zijn. Het gaat niet om de AI die slimmer is; het gaat om het systeem dat strenger is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.