Technische Samenvatting: ALMANAC

Probleemstelling

Recente vooruitgang in Large Language Model (LLM) agenten heeft hen voorzien van complexe cognitieve vermogens, zoals meerstapsredeneren en het gebruik van tools, waardoor zij potentiële menselijke samenwerkers zijn geworden. Effectieve samenwerking vereist echter meer dan alleen taakvoltooiing; het vereist het continue onderhouden en afstemmen van mentale modellen—specifiek zelfredeneren over de eigen acties, de waargenomen intentie van de partner en het begrip van gedeelde teamdoelen.

Huidig onderzoek naar mens-agent samenwerking en benchmarks (bijv. ToolBench, WebArena, MultiAgentBench) evalueren agenten primair op taakgerichte uitwisselingen en onafhankelijke taakvoltooiing. Zij missen authentieke menselijke samenwerkingsdata die mentale model-annotaties op actieniveau bevatten. Bestaande mens-mens datasets leggen observeerbare interacties vast (dialogen, uitkomsten), maar laten de cruciale cognitieve inhoud achter onderliggende collaboratieve gedragingen weg. Gevolgelijk ontbeert de gemeenschap de data die nodig is om agenten te sturen naar procesmatige collaboratieve competentie en het vermogen om menselijke samenwerkingsgedragingen te simuleren en onderliggende mentale toestanden af te leiden.

Methodologie

Dataset Constructie: ALMANAC

Om dit gat te dichten, presenteren de auteurs ALMANAC (Action-Level Mental model ANnotations for Agent Collaboration), een dataset afgeleid van de Map Task, een klassieke dyadische routeringstaak uit de sociale wetenschappen.

• Taakontwerp: Twee deelnemers (een Gids en een Volger) werken samen om een route op een kaart te reproduceren via tekstgebaseerde communicatie en werkruimte-acties (tekenen, wissen). De Gids ziet de volledige route; de Volger ziet alleen oriëntatiepunten.
• Experimentele Condities: De studie manipuleert de canvaszichtbaarheid als een tussen-onderwerpen factor:
  • $C_{not\_visible}$: De Gids kan de real-time tekeningen van de Volger niet zien.
  • $C_{visible}$: De Gids kan het live canvas van de Volger bekijken.
• Annotatiekader: Geworteld in theorieën over teamworkprocessen, situationeel bewustzijn en common ground, legt het kader mentale modellen vast op actieniveau via een tweestaps-proces:
  1. In-sessie Checkpoints: Bij 25%, 50% en 75% van de voortgang van de taak geven deelnemers korte, real-time rapportages over teamdoelen, partnerintentie en zelfredenering via spraakopnames.
  2. Post-sessie Retrospectieve Labeling: Direct na de taak bekijken deelnemers hun actietraject en screenshots. Voor elke actie leveren zij:
     • Vrije vorm rationale: Het verklaren van het cognitieve proces achter de actie.
     • Gestructureerde labels: Categorische selecties voor Teamdoel, Waargenomen Partnerintentie en Zelfredenering, samen met een indicator voor de alignment-status.
• Data Schaal: De dataset bestaat uit 2.987 samenwerkingsacties van 50 deelnemers verspreid over 25 dyadische sessies. Acties worden gestandaardiseerd naar discrete rasterrepresentaties om LLM-verwerking te vergemakkelijken zonder afhankelijk te zijn van beeldbegrip.

Benchmark Experimenten

De auteurs evalueerden zes LLM's (vier open-source/proprietary: Qwen3.6-35B, Llama 3.3 70B, GPT-5.5, Claude 4.6 Sonnet; en twee gefinetuned: Qwen3-4B, Qwen3-30B-A3B) op twee taken:

1. Next-Turn Gedrag Voorspelling: Het voorspellen van de volgende actie (bericht, tekenen, wissen, etc.) gegeven de interactiegeschiedenis en persona.
2. Mentale Model Voorspelling: Het voorspellen van de mentale staat van de deelnemer (teamdoel, partnerintentie, zelfredenering, rationale) voor de volgende beurt.

Experimenten vergeleken standaard prompting, finetuning op ALMANAC, en de inclusie van ground-truth mentale model-annotaties als inputsignalen.

Belangrijkste Bijdragen

1. ALMANAC Dataset: De eerste menselijke samenwerkingsdataset die authentieke collaboratieve gedragingen koppelt aan theorie-onderbouwde, mentale model-annotaties op actieniveau.
2. Annotatiekader: Een nieuw ontwerp dat in-sessie checkpoints combineert met post-sessie retrospectieve labeling om dynamische mentale modellen en vrije vorm rationales te vangen op de granulariteit van individuele acties.
3. Empirische Benchmarking: Een uitgebreide evaluatie van zes LLM's die aantoont dat hoewel mentale model-annotaties nuttige signalen bieden voor het voorspellen van collaboratief gedrag, huidige modellen moeite hebben met het afleiden van private redeneerprocessen.

Resultaten

Next-Turn Gedrag Voorspelling

• Rol-asymmetrie: Het voorspellen van de volgende actie van de Gids (beperkt tot berichten) was triviaal (100% nauwkeurigheid), terwijl het voorspellen van de actie van de Volger (inclusief tekenen, wissen en interpreteren) aanzienlijk moeilijker was.
• Impact van Zichtbaarheid: Modellen presteerden over het algemeen beter in de $C_{not\_visible}$ conditie dan in de $C_{visible}$ conditie. De auteurs schrijven dit toe aan de hogere gedragsvariabiliteit en de afhankelijkheid van visueel gegronde correcties in de zichtbare conditie, wat moeilijker af te leiden is uit de tekstgeschiedenis alleen.
• Impact van Mentale Modellen: Het toevoegen van ground-truth mentale model-annotaties als input verbeterde de prestaties over het algemeen bij het voorspellen van de acties van Volgers, met name voor tekennauwkeurigheid in de $C_{not\_visible}$ conditie. Dit suggereert dat het gedrag van Volgers meer geworteld is in latente redeneerstaten dan de acties van Gidsen.
• Fine-Tuning: Kleinere modellen die gefinetuned zijn op ALMANAC (Qwen3-4B) bereikten prestaties die vergelijkbaar zijn met grotere proprietary modellen, wat aangeeft dat gerichte supervisie op samenwerkingsspecifieke data het gat met grotere modellen kan dichten.

Mentale Model Voorspelling

• Voorspelbaarheid Hiërarchie: Teamdoel en Partnerintentie waren aanzienlijk gemakkelijker te voorspellen dan Zelfredenering. Dit komt overeen met de observatie dat gedeelde componenten vaak worden weerspiegeld in dialoog en progressie, terwijl zelfredenering private motivaties bevat die niet expliciet worden geuit.
• Rol-asymmetrie: Mentale modellen van de Volger waren gemakkelijker te voorspellen dan die van de Gids. De redenering van de Gids omvat complexe ruimtelijke planning en partner-monitoring die moeilijk af te leiden is uit de interactiegeschiedenis alleen.
• Effectiviteit van Fine-Tuning: Gefinetuned modellen (specifiek Qwen3-4B) vertoonden superieure prestaties bij het voorspellen van de mentale modellen en rationales van de Volger vergeleken met prompt-gebaseerde modellen, wat suggereert dat ALMANAC effectieve supervisie biedt voor het leren van samenwerking-relevante redeneringen.
• Beperkingen: Geen enkel model presteerde consistent beter dan andere over alle condities. De lage nauwkeurigheid bij het voorspellen van zelfredenering benadrukt de uitdaging van het afleiden van private mentale modellen.

Betekenis en Claims

Het artikel claimt dat ALMANAC een fundamentele bron biedt voor de ontwikkeling van LLM-agenten die fungeren als echte collaboratieve partners in plaats van louter taakoplossers.

• Diagnostische Waarde: De resultaten geven aan dat hoewel mentale model-annotaties signalen bieden die verder gaan dan de interactiegeschiedenis, huidige LLM's deze niet betrouwbaar gebruiken om private redenering af te leiden. De kloof tussen het voorspellen van gedeelde staten (teamdoel) en private staten (zelfredenering) benadrukt een fundamentele beperking in het vermogen van huidige modellen om de cognitieve processen te simuleren die effectieve samenwerking drijven.
• Procesmatige Competentie: Door de evaluatie te funderen in authentieke menselijke data met theorie-onderbouwde annotaties, opent ALMANAC een pad naar agenten die mentale modellen kunnen onderhouden en afstemmen tijdens een samenwerking, waarmee een kritiek tekort in huidige agent-benchmarks wordt geadresseerd die zich uitsluitend richten op taakvoltooiing.
• Bescheiden Omvang: De auteurs erkennen beperkingen, waaronder de afhankelijkheid van retrospectieve rapportage (gevoelig voor recall-bias), de bescheiden omvang van de dataset vergeleken met grootschalige NLP-benchmarks, en de beperking tot één taakdomein (Map Task). Zij merken op dat toekomstig werk nodig is om deze bevindingen uit te breiden naar diverse, real-world domeinen en om multimodale benaderingen te verkennen voor beter ruimtelijk begrip.