Technische Samenvatting: Evaluatie van Generatieve Agenten met Acties Gegrond in Sociaal Verdeelde Taakomgevingen met behulp van Incognita

Probleemstelling

Effectieve agency in sociale omgevingen vereist dat een agent bepaalt wanneer hij kennis moet zoeken, wanneer hij moet handelen en of zijn acties gerechtvaardigd zijn door verworven informatie. Bestaande evaluatieparadigma's scheiden deze vereisten vaak: gegronde benchmarks (bijv. WebArena, AppWorld) bieden uitvoerbare acties en verifieerbare uitkomsten maar missen rijke sociale interactie, terwijl sociale simulatieomgevingen (bijv. Sotopia) multi-agent interactie bieden maar vaak een gebrek hebben aan gegronde, consequentiële staatveranderingen.

Het kernprobleem dat wordt geadresseerd is de evaluatie van generatieve agenten in sociaal verdeelde taakomgevingen. In deze omgevingen is taakrelevante kennis verdeeld over rol-geïsoleerde participanten (bijv. een klant, een retourbalie, een productcatalogus), en zijn consequentiële acties alleen bereikbaar via interactie met deze specifieke participanten. Huidige agenten worstelen met deze structuur en vertonen fouten in verheldering, contextbehoud en voortijdige finalisering wanneer taalinformatie incrementeel over verschillende beurten wordt onthuld.

Methodologie: Het Incognita-framework

De auteurs introduceren Incognita, een omgevingsframework gebouwd op de Concordia-substraat om sociaal verdeelde taakomgevingen te instantiëren. Incognita scheidt sociale interactie van gegronde executie, waardoor een Partially Observable Markov Decision Process (POMDP) voor de testagent ontstaat.

1. Omgevingsarchitectuur

• Rol-geïsoleerde Interactie: De testagent heeft geen directe toegang tot tools. Hij interageert via gerichte berichten met een USER (die de vraagzijde-kennis vasthoudt achter een onthullingspoort) en Specialist Entiteiten (die de rol-specifieke omgevingskennis vasthouden en operaties mediëren).
• Gegronde Executielaag: Specialistische entiteiten stellen operaties voor die worden gevalideerd en uitgevoerd door een deterministische sub-omgeving over een canonieke staat.
  • Reads (Lezen): Informatie teruggeven zonder de staat te veranderen.
  • Writes (Schrijven): De staat muteren, wat consequenties creëert die later worden geëvalueerd.
• Offline Evaluatie: De proefperiode eindigt wanneer de agent een finaliseringsvlag ($f_t=1$) instelt. Een offline evaluator scoort vervolgens de eindstaat tegenover de geïnheriteerde taakbeloning (bijv. van $\tau$-bench). De evaluator stuurt de agent niet aan of inspecteert diens interne overtuigingsstaat (belief state) tijdens de proef.

2. Theoretisch Kader

Het framework past het exploratie-exploitatie paradigma aan voor deze setting:

• Exploratie: Communicatie fungeert als exploratie over rol-gepartitioneerde kennis. De agent moet zijn impliciete overtuigingsstaat bijwerken met betrekking tot de intentie van de gebruiker, beschikbare kennis en haalbare operaties.
• Exploitatie: Gegronde acties fungeren als exploitatie, waarbij de overtuigingsstaat van de agent wordt vastgelegd in staat-veranderende operaties.
• Finalisering: De finaliseringsactie vertegenwoordigt de verbintenis van de agent dat de gebruikersdoelstelling is voldaan. Voortijdige finalisering duidt op een mismatch tussen de overtuiging van de agent en de canonieke omgevingsstaat.

3. Experimentele Opzet: Incognita-Retail

Om het framework te valideren, hebben de auteurs $\tau$-bench retail taken getransformeerd naar een multi-entiteit omgeving (Incognita-Retail).

• Taken: 18 taken gestratificeerd op sociale breedte (het aantal verschillende specialistische entiteiten dat vereist is door de referentieoplossing, variërend van 1 tot 6).
• Modellen: Drie generatieve agentmodellen (gpt-5.2, gpt-5.4, gpt-5.5) werden geëvalueerd.
• Trials: In totaal 540 trials (18 taken $\times$ 10 repetities $\times$ 3 modellen).
• Constraints: De testagent ontvangt geen expliciete doel- of beleidshints; hij moet de taakstructuur afleiden door interactie.

Belangrijkste Resultaten

1. Taalsuccespercentages

Gegronde taalsucces blijft schaars, zelfs voor sterkere modellen, hoewel er vooruitgang zichtbaar is:

• gpt-5.2: 0% succespercentage over alle sociale breedtes.
• gpt-5.4: 8,9% algemeen succes (alleen succesvol bij sociale breedte 3 en 4).
• gpt-5.5: 17,2% algemeen succes (niet-nul succes op alle breedteniveaus, hoewel breedte 6 bijna onopgelost blijft).

2. Gedragsverschuivingen en Foutmodi

De studie onthult dat modelverbetering zich manifesteert in gedragsveranderingen voordat betrouwbaar taalsucces wordt bereikt:

• Voortijdige Finalisering: Het percentage voortijdige beëindiging (beweren dat de taak voltooid is voordat noodzakelijke acties zijn ondernomen) nam significant af:
  • gpt-5.2: 100%
  • gpt-5.4: 87%
  • gpt-5.5: 58%
• Exploratie en Exploitatie Metrieken: Sterkere modellen vertoonden:
  • Hogere Disclosure Coverage (fractie van vergrendelde gebruikersvelden die onthuld zijn): 0,06 $\to$ 0,17 $\to$ 0,45.
  • Hogere Write Rates (fractie van trials met geaccepteerde staat-veranderende writes): 0 $\to$ 0,13 $\to$ 0,36.
  • Hogere Entity-Contact Breadth: Nam toe van 0,30 (gpt-5.2) naar 0,68 (gpt-5.4/5.5).

3. Samenstelling van Fouten

Naarmate de modellen verbeterden, verschoof de samenstelling van fouten van onmiddellijke beëindiging naar complexere fouten betrokken bij environment-belief (omgeving-overtuiging), goal-belief (doel-overtuiging) en execution errors (executiefouten). Dit geeft aan dat sterkere agenten meer tijd doorbrengen binnen het beoogde interactieregime, maar nog steeds worstelen met de betrouwbaarheid van overtuigingsvorming en actie-onderbouwing.

Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

1. Formalisering: Het formaliseert sociaal verdeelde taakomgevingen als een onderscheidende evaluatiesetting waar kennis is verdeeld over rol-geïsoleerde participanten, wat agenten dwingt om door informatieasymmetrie te navigeren.
2. Framework: Het presenteert Incognita, een framework dat rol-geïsoleerde interactie koppelt aan deterministische staatsexecutie en offline beloningsverificatie, waarbij de vorming van overtuigingen wordt gescheiden van de verificatie van uitkomsten.
3. Empirische Analyse: Het biedt een voorlopige analyse die aantoont dat modelprogressie in deze omgevingen observeerbaar is in procesmetrieken (kennisextractie, bronselectie, gegronde actiepogingen), zelfs wanneer de uiteindelijke taakbeloningen laag blijven.

Betekenis:
De auteurs stellen dat sociaal verdeelde taakomgevingen het gedrag van agenten blootleggen voordat betrouwbaar taalsucces wordt bereikt. Door communicatie, staat-veranderende acties en taken-voltooiingsverbintenissen binnen een enkele gegronde omgeving te meten, biedt Incognita een pad voor het evalueren van collaboratieve agency die verder gaat dan enkel open einde dialoogkwaliteit of uiteindelijke taalsucces. De bevindingen suggereren dat huidige modellen beginnen te engageren in duurzame kenniszoekende acties en bredere bronselectie, maar dat er nog steeds aanzienlijke hiaten bestaan in de betrouwbaarheid van overtuigingsvorming en de timing van finalisering.