Technische Samenvatting: cotomi Act

Probleemstelling

Huidige computergebruikende agenten (CUA's) kampen met een dubbele beperking die hen verhindert om als betrouwbare organisatorische collega's te fungeren. Ten eerste, hoewel Large Language Models (LLM's) zijn verbeterd in redeneren, hebben ze nog steeds moeite met de betrouwbaarheid die vereist is voor langdurige, meerstaps webtaken, en halen ze vaak niet het menselijke basisniveau op benchmarks zoals WebArena. Ten tweede, en nog kritischer, missen bestaande agenten organisatorische kennis. Ze opereren zonder bewustzijn van impliciete voorkeuren, ongeschreven workflows, interne jargon of de huidige staat van lopende taken. Dit dwingt agenten om ofwel frequente verhelderende vragen te stellen (wat de efficiëntie verlaagt) ofwel stil te gokken (wat risico's op fouten met zich meebrengt). Bovendien wordt een groot deel van de kennis die essentieel is voor werk – hoe mensen daadwerkelijk opereren – zelden gedocumenteerd in statische repositories, waardoor Retrieval-Augmented Generation (RAG) alleen onvoldoende is.

Methodologie

Het artikel presenteert cotomi Act, een browsergebaseerde agent die deze uitdagingen aanpakt via twee geïntegreerde componenten: een robuust Agent Scaffold voor uitvoering en een Behavior-to-Knowledge Pipeline voor leren.

1. Agent Scaffold (Uitvoering)

Het scaffold beheert de ReAct-loop (Reason-Act) van de agent, optimaliseert het contextvenster en de actieruimte om complexe webtaken te hanteren. Het maakt gebruik van vier sleutelmechanismen:

• Adaptieve Lazy Observation: In plaats van bij elke stap de volledige toegankelijkheidsboom in te voeren, observeert de agent standaard alleen elementen die zichtbaar zijn in het viewport, en vraagt de volledige boom alleen op verzoek. Dit vermindert de latentie aanzienlijk (van 471s naar 184s per taak) terwijl de nauwkeurigheid behouden blijft.
• Verbal-Diff-Based History Compression: In plaats van ruwe eerdere observaties te behouden die het contextvenster opblazen, vervangt het systeem verouderde geschiedenis door natuurlijke-taalbeschrijvingen van wijzigingen (verbal diffs). Dit vermindert de tokenkosten met 3,8× terwijl het semantische verband beter behouden blijft dan bij standaard diff-formaten.
• Grofkorrelige Acties: De actieruimte wordt geabstraheerd naar het hoogste niveau dat nog steeds gebruikelijke interacties dekt (bijv. scrollInto(element) in plaats van pixel-gebaseerd scrollen). Dit vermindert het aantal stappen dat voor een taak vereist is en voorkomt contextoverloop.
• Test-Time Scaling: Het systeem maakt gebruik van best-of-N actiekeuze en taakdecompositie (het starten van parallelle sub-agenten voor onafhankelijke subdoelen) om variantie te verminderen en langdurige taken te hanteren.

2. Behavior-to-Knowledge Pipeline (Leren)

Om organisatorische kennis te verwerven, observeert cotomi Act passief het browsegedrag van de gebruiker en abstracteert het dit naar gestructureerde artefacten.

• Capture: Een achtergrondmonitor registreert acties op site-niveau, tabbladtransities en screenshots, met gebruik van diff-gebaseerde compressie om ruis te verminderen.
• Abstraction: Een agentieke ETL-pipeline (Extract-Transform-Load), aangedreven door een LLM, verwerkt deze gebeurtenissen. Het segmenteert ruwe gebeurtenissen in taakniveau-episodes, vat ze samen tot gestructureerde records en aggregeert ze tot kennisartefacten.
• Gedeelde Kenniswerkplek: De resulterende artefacten worden opgeslagen in een gedeelde werkplek die toegankelijk is voor zowel de gebruiker als de agent. Deze omvatten:
  • Activiteitstijdlijnen: Kalendergebaseerde weergaven van gebruikersactiviteit.
  • Takenborden: Een gedeelde database waar de agent statusupdates voorstelt en de gebruiker deze goedkeurt.
  • Wiki-pagina's: Procedurele notities, regels en conventies die zijn gedistilleerd uit gedrag.
• Privacy: Het systeem is strikt opt-in, met PII-maskering toegepast voordat artefacten naar de werkplek worden geschreven.

3. Mens-Agent Samenwerking

De werkplek fungeert als een "grensobject". De agent raadpleegt deze artefacten via een search_workspace-tool wanneer instructies dubbelzinnig zijn of context vereisen. Cruciaal is dat de lus bidirectioneel is: de gebruiker kan de afgeleide kennis van de agent inspecteren, bewerken en goedkeuren, waardoor uitlijning met de werkelijkheid wordt gewaarborgd zonder expliciete synchronisatie.

Belangrijkste Bijdragen

1. cotomi Act Systeem: Een browsergebaseerde agent die 80,4% succes behaalt op de menselijke evaluatiesubset van 179 taken van WebArena, wat de gerapporteerde menselijke baseline van 78,2% overtreft. Dit wordt bereikt door de specifieke combinatie van adaptieve lazy observation, verbal-diff geschiedenis, grofkorrelige acties en test-time scaling.
2. Behavior-to-Knowledge Pipeline: Een nieuwe aanpak die passief het browsegedrag van gebruikers observeert om ruwe gebeurtenissen progressief te abstracteren tot herbruikbare kennisartefacten (takenborden, wiki's, tijdlijnen) binnen een gedeelde werkplek, waardoor persistent leren en transparante uitlijning mogelijk worden.
3. Empirische Validatie: Een gecontroleerde proxy-evaluatie die aantoont dat het succes van downstream taken verbetert naarmate de agent meer op gedrag gebaseerde kennis verzamelt, wat de doeltreffendheid valideert van leren uit observatie.

Resultaten

• Uitvoeringsprestaties: Op de menselijke evaluatiesubset van WebArena behaalde cotomi Act een succespercentage van 80,4%. Het basisscaffold (zonder test-time scaling) bereikte 76,5%, terwijl het toevoegen van best-of-N selectie en taakdecompositie een extra winst van 3,9% opleverde. Deze prestatie overtreft de menselijke baseline van 78,2% en eerdere state-of-the-art agenten zoals OpAgent (71,6%).
• Kennisimpact: In een gecontroleerde studie met WorkArena-L1 verbeterde het taaksucces over het algemeen naarmate de domeindekking van gedragskennis toenam.
  • Bij 0% dekking was het basissucces ongeveer 51%.
  • Bij 100% dekking verbeterde het succes met maximaal +10 procentpunten.
  • De studie merkte op dat terwijl ruwe trajecten bij lage dekking de prestaties kunnen verslechteren door ruis, geabstraheerde formaten (scripts en inzichten) stabiel bleven.
  • Een specifieke case study in het domein van de servicecatalogus toonde aan dat het succes sprong van ~75% naar ~99% nadat de agent 48 procedurele scripts had verworven die waren afgeleid uit gebruikersgedrag.

Betekenis

Het artikel stelt dat cotomi Act een praktische weg demonstreert naar organisatorische gronding voor AI-agenten. Door een scaffold te combineren dat in staat is om menselijke prestaties te overtreffen op gestandaardiseerde benchmarks met een mechanisme om impliciete, ongeschreven workflows te leren uit dagelijks gedrag, gaat het systeem voorbij aan het zijn van een "stateless executor" en wordt het een "geplaatste collega". De betekenis ligt in de bidirectionele lus: de agent leert van de gebruiker, maar de gebruiker curateert ook de kennisbasis van de agent via een gedeelde werkplek, waardoor ervoor wordt gezorgd dat de automatisering blijft uitgelijnd met de evoluerende organisatorische realiteit zonder dat handmatige documentatie vereist is.