MapSatisfyBench: Benchmarking Satisfaction-Aware Map Agents through Behavior-Grounded Implicit Decision Factors

Technische Samenvatting van MapSatisfyBench

Probleemstelling
Large Language Model (LLM) agents worden steeds vaker ingezet in kaartdiensten om natuurlijke taalverzoeken te vertalen naar acties zoals route-navigatie en reisplanning. Echter, echte kaartvragen zijn vaak ondergespecificeerd; gebruikers geven korte, onvolledige verzoeken terwijl zij verwachten dat de agent impliciete behoeften afleidt. In tegen tegenstelling tot feitelijke vragen met unieke grondwaarheden, zijn kaarttaken inherent multi-oplossingsgericht. De kernuitdaging is dat gebruikerssatisfactie afhankelijk is van impliciete beslissingsfactoren—kritieke condities die niet expliciet in de query worden vermeld (bijv. een gebruiker die met de trein arriveert en daarom openbaar vervoer nodig heeft in plaats van rijden), maar die herstelbaar zijn uit beschikbare informatiebronnen zoals gebruikersprofielen en interactiegeschiedenis.

Huidige benchmarks evalueren primair taakvoltooiing (kan de agent een route plannen?) of feitelijke getrouwheid. Ze falen in het meten of een agent proactief deze impliciete factoren kan herstellen om de respons te selecteren die het meest waarschijnlijk door de gebruiker wordt geaccepteerd. Bovendien is het evalueren van dit vermogen moeilijk omdat: (1) niet alle impliciete factoren herstelbaar zijn uit informatie voorafgaand aan de respons, en (2) satisfactie niet kan worden teruggebracht tot één enkel referentieantwoord of een binaire label van tevreden/ontevreden.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een restore-identify-filter framework voor en construeren zij MapSatisfyBench, een benchmark die geworteld is in bewijsvoering uit de gedragsketen.

1. Framework Constructie:

   • Restore (Herstellen): Reconstrueert de volledige gebruikersbehoefte door pre-query informatie (context $c$, profiel $p$), de spatio-temporele omgeving ($g$) en post-query gebruikersgedrag ($h^+$) te combineren. Dit creëert een objectieve basis voor wat de gebruiker beoogde.
   • Identify (Identificeren): Vergelijkt de gereconstrueerde volledige behoefte met de oppervlakkige query om onuitgesproken beslissingsfactoren bloot te leggen die de uitvoerbare oplossingsruimte verkleinen.
   • Filter (Filteren): Houdt alleen die impliciete factoren aan die ondersteund worden door bewijs dat beschikbaar was vóór de agent reageert (d.w.z. $g$ en $h^-$). Factoren die verduidelijking na de respons vereisen of onbeschikbare data betreffen, worden uitgesloten om evalueerbaarheid te garanderen.

2. Grondwaarheid Annotatie:
   In plaats van één gouden antwoord, definieert de benchmark een gestructureerde beslissingsreferentie $G(x)$ bevattende:

   • Expliciete Factoren ($E(x)$): Afgeleid van de oppervlakkige query.
   • Evalueerbare Impliciete Factoren ($Z_{eval}(x)$): Hersteld via het framework, geannoteerd met een restrictietype (Hard vs. Soft) en een bewijs-ondersteund gewicht ($s_i$). Harde restricties (bijv. onbeschikbaar transport) zijn binair; zachte voorkeuren zijn gegradeerd.
   • Executie Annotaties: Verhelderingsbeleid, verwachte tool-trajecten en feitelijke responsvereisten.

3. Evaluatieomgeving:
   De benchmark opereert in een Deterministische Replay Sandbox. Het simuleert een gebruikersagent die wordt gedreven door de volledige behoefte en een business-agent (het te testen model) die interacteert met een vaste set van 22 kaartdienst-tools. Tool-responses zijn deterministische mocks om reproduceerbaarheid te garanderen.

4. Metrics:
   De evaluatie dekt de volledige beslissingspipeline met zeven metrics:

   • ECR (Explicit-decision-factor Completion Rate): Meet de voldoening aan expliciete vereisten.
   • IISR (Implicit-decision-factor Satisfaction Rate): Een gewogen gemiddelde van de satisfatiescores voor impliciete factoren, waarbij onderscheid wordt gemaakt tussen harde restricties en zachte voorkeuren.
   • AR (Accepted-response Probability): De primaire geaggregeerde metric, berekend als $ECR \times IISR$. Het vertegenwoordigt de waarschijnlijkheid dat een respons geaccepteerd zou worden.
   • TS (Tool Selection Accuracy): Meet de correcte selectie van tools die nodig zijn om bewijs te herstellen.
   • IFS (Information Faithfulness Score): Controleert feitelijke claims tegenover tool-outputs.
   • Eff (Interaction Efficiency): Normaliseert het aantal interactierondes tegenover een referentiebudget.
   • SES (Satisfaction Efficiency Score): Een samengestelde metric ($AR \times Eff$) die hoge kwaliteit beslissingen beloont die efficiënt worden genomen.

Belangrijkste Bijdragen

1. Methodologie: Een nieuwe aanpak om subjectieve gebruikerssatisfactie te operationaliseren naar objectieve, door gedrag ondersteunde impliciete beslissingsfactoren, wat evaluatie mogelijk maakt zonder directe satisfatie-labels.
2. Benchmark: De constructie van MapSatisfyBench, afgeleid van grootschalige, geanonimiseerde real-world gebruikersdata, dekkend diverse kaartdienst-scenario's met volledige chain-evaluatieprotocollen.
3. Diagnostische Inzichten: Empirisch bewijs dat een hardnekkige kloof onthult tussen taakvoltooiing op oppervlakteniveau en satisfatie-bewuste besluitvorming in huidige LLM-agents.

Experimentele Resultaten
De auteurs evalueerden 12 LLM-gebaseerde agents (inclusief GPT-4.1/5.3, Claude Opus/Sonnet 4.6, Gemini 3.1, DeepSeek, en de Qwen-families).

• Taakvoltooiing vs. Satisfactie: Frontier-modellen behaalden hoge ECR-scores (bijv. GPT-5.3 op 0.9272), wat wijst op een sterk vermogen om expliciete taken te voltooien. Echter, de IISR- en AR-scores waren aanzienlijk lager (beste IISR was 0.7170 voor Claude-4.6-opus), wat duidt op een falen om impliciete behoeften te bevredigen.
• Tool Selectie Bottleneck: TS-scores waren consistent laag (variërend van 0.28 tot 0.49), zelfs voor topmodellen. Analyse toonde aan dat agents zelden proactief profiel-gerelateerde tools aanroepen om impliciet bewijs te herstellen, maar in plaats daarvan de voorkeur geven aan het vragen om verduidelijking aan de gebruiker, wat de interactielast verhoogt.
• Thinking Mode: Het inschakelen van de "thinking mode" verbeterde de prestaties voor sommige modellen (bijv. de SES van Gemini-3.1-pro-preview steeg van 0.2120 naar 0.2724), maar sloot de kloof tussen expliciete en impliciete satisfactie niet volledig.
• Domein Variantie: Prestaties varieerden per domein; het plannen van reizigchema's was het makkelijkst, terwijl realtime informatieverzoeken en ride-hailing het moeilijkst waren. Agents hadden de meeste moeite met spatio-temporele factoren vergeleken met context- of voorkeursgebaseerde factoren.

Significantie
Het artikel beweert dat MapSatisfyBench het evaluatieparadigma voor kaart-agents verschuift van "is de taak voltooid" naar "voldoet de beslissing aan de gebruiker". De bevindingen suggereren dat huidige agents, hoewel ze in staat zijn tot plannen en het ophalen van feiten, niet het vermogen hebben om proactief bewijs te vergaren uit beschikbare bronnen om ambiguïteit op te lossen. De benchmark dient als een diagnostisch instrument om de ontwikkeling van agents te sturen die open eind ruimtelijke beslissingen kunnen afstemmen op door gedrag ondersteunde gebruikersbehoeften, waardoor onnodige gebruikersinteractie wordt verminderd en de kwaliteit van besluitvorming wordt verbeterd.