CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation

Probleemstelling

Hoewel er veel onderzoek is gedaan naar webagenten die taken autonoom voor gebruikers uitvoeren, blijken deze agenten in de praktijk vaak tekort te schieten bij complexe taken in real-world omgevingen, vooral wat betreft het modelleren van gebruikersvoorkeuren en het omgaan met onverwachte situaties. Bestaande frameworks focussen vaak op volledige autonomie of op het opnemen van menselijke acties, maar missen ondersteuning voor dynamische samenwerking binnen een taaksessie. Er is een behoefte aan een systeem waarin mensen en Large Language Model (LLM) agenten afwisselend acties kunnen uitvoeren om taken op te lossen, waarbij de mens kan ingrijpen wanneer de agent vastloopt of fouten maakt.

Methodologie: Het COWPILOT Framework

COWPILOT is een lichtgewicht framework, geïmplementeerd als een Chrome-extensie, dat naadloos integreert in de bestaande webactiviteiten van gebruikers. Het systeem definieert twee agenten: een LLM-agent ($\pi_L$) en een menselijke agent ($\pi_H$).

Kernmechanismen:

1. Suggest-then-Execute onder Menselijk Toezicht:

   • De LLM-agent genereert een actie voor de volgende stap en presenteert deze als een suggestie aan de gebruiker (met visuele highlight van het UI-element en een tekstuele uitleg).
   • De gebruiker heeft maximaal 5 seconden om te reageren. Als er geen actie wordt ondernomen, wordt de suggestie automatisch uitgevoerd.
   • De gebruiker kan de actie pauzeren, afwijzen of een alternatieve actie uitvoeren.
   • De gebruiker kan op elk moment de controle teruggeven aan de agent via een "Resume"-knop.

2. Actie-Transformatie en Context:

   • Wanneer de mens ingrijpt, trackt het systeem de menselijke interacties (klikken, typen, scrollen) via HTML-event listeners.
   • Deze ruwe menselijke acties worden verwerkt door een LLM (GPT-4o) om ze te vertalen naar het gestructureerde actie-ruimte van de agent (zoals getoond in Tabel 1 van het paper). Dit zorgt ervoor dat de agent de menselijke correcties begrijpt en redundantie vermijdt.
   • De agent heeft toegang tot de volledige geschiedenis van zowel zijn eigen acties als de menselijke correcties bij het genereren van de volgende stap.

3. Evaluatiemetrics:
   Het paper introduceert specifieke metrics om samenwerking te kwantificeren:

   • Algemene Taak Succes: Of het doel is bereikt.
   • Menselijke Interventie Aantal: Hoe vaak de gebruiker ingrijpt.
   • Agent-Driven Completion Accuracy: Hoe vaak de agent de taak zelfstandig afrondt na menselijke interventie (een maatstaf voor het herstelvermogen van de agent).
   • Stapverdeling: Het percentage stappen uitgevoerd door de mens versus de agent.

Belangrijkste Bijdragen

1. Framework voor Dynamische Samenwerking: COWPILOT is een van de eerste systemen dat echte, real-time samenwerking tussen mens en agent binnen een browsessie mogelijk maakt, in plaats van alleen autonome uitvoering of passieve observatie.
2. Data Collectie Tool: Het framework dient als een krachtige tool voor het verzamelen van data over mens-agent interacties, inclusief menselijke feedback op stap-niveau en taak-niveau, wat essentieel is voor het trainen en evalueren van toekomstige agenten.
3. Veelzijdigheid: Het ondersteunt diverse use-cases: volledig autonome webautomatisering, data annotatie voor agent-trajecten, en vergelijkende evaluatie van verschillende LLM-modellen (zowel open-weight als gesloten-source).
4. Open Source & Toegankelijkheid: Het is ontworpen als een lichtgewicht Chrome-extensie (<50MB) die gebruikers kunnen installeren met hun eigen API-sleutels, wat de drempel voor onderzoek en gebruik verlaagt.

Resultaten

De auteurs hebben COWPILOT geëvalueerd op een subset van de WebArena-benchmark (27 taken) met drie menselijke agenten en twee LLM-modellen (GPT-4o en Llama-3.1-8B).

• Succespercentages:

  • CoPilot Mode (GPT-4o): Bereikte een 95% taaknauwkeurigheid. Dit is een significante verbetering ten opzichte van de autonome modus (48%) en zelfs 6% hoger dan wanneer alleen mensen de taken uitvoerden (89%).
  • Llama 8B: Toonde een daling in nauwkeurigheid in CoPilot mode, wat suggereert dat de kwaliteit van het onderliggende model cruciaal is voor effectieve samenwerking.

• Efficiëntie en Menselijke Inspanning:

  • In de succesvolle CoPilot setting met GPT-4o voerden mensen slechts 15,2% van de totale stappen uit (gemiddeld 1,1 menselijke stap per taak).
  • De agent voerde 84,8% van de stappen uit.
  • Interessant is dat zelfs met menselijke interventies, de agent verantwoordelijk was voor 52% van de succesvolle taakvoltooiing (Agent-driven Completion Accuracy). Dit betekent dat de agent vaak de menselijke correcties kon integreren en de taak zelfstandig kon afronden.

• Correlatie: Er is een sterke correlatie gevonden tussen het aantal menselijke stappen en de taaknauwkeurigheid; minder menselijke stappen waren nodig voor hogere nauwkeurigheid bij sterke modellen.

Betekenis en Toekomstperspectief

COWPILOT demonstreert dat mens-agent samenwerking een veelbelovende route is om de beperkingen van volledig autonome agenten te overwinnen. Het framework biedt een praktische oplossing voor complexe webtaken waarbij de agent de zware lifting doet, maar de mens fungeert als een effectieve "piloot" die ingrijpt bij kritieke fouten.

Toekomstige werk:

• Het verminderen van de noodzaak voor constante menselijke observatie door het automatisch detecteren van kritieke stappen.
• Uitbreiding naar multi-LLM setups waarbij een tweede agent de rol van menselijke gebruiker simuleert voor grootschalig onderzoek.
• Het adresseren van veiligheidsrisico's (privacy en onbedoelde schadelijke acties) voordat de code volledig open-source wordt gemaakt.

Samenvattend biedt COWPILOT een robuust platform voor onderzoek naar hoe mensen en AI-agenten effectief kunnen samenwerken in real-world digitale omgevingen, met bewezen verbeteringen in zowel nauwkeurigheid als efficiëntie.