Technische Samenvatting: SIMMER - Het benchmarken van latente fouten in LLM executieve planning

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als planners voor autonome agenten in huishoudelijke omgevingen. De huidige evaluatieparadigma's lijden echter aan een kritiek blinde vlek: ze slagen er niet in om latente fouten te detecteren.

Huidige benchmarks vallen doorgaans uiteen in twee categorieën:

1. Virtuele omgevingen (bijv. TextWorld, ALFWorld, VirtualHome): Deze vertrouwen op formele staatstracking, maar zijn vaak te versimpeld en missen de complexiteit om impliciete staatswijzigingen zoals contaminatie, temperatuurpropagatie of chemische transformaties te modelleren. Ze detecteren primair directe schendingen van precondities.
2. Semantische gelijkenis-metrieken: Deze evalueren plannen op basis van oppervlakkige gelijkenis met referentieteksten. Ze kunnen geen fouten detecteren waarbij individuele acties op zichzelf redelijk lijken, maar wel impliciete afhankelijkheden van de staat schenden (bijv. kruiscontaminatie) die pas later manifest worden.

Het artikel stelt dat latente fouten — fouten die alle expliciete precondities vervullen maar zich stilzwijgend door impliciete staatswijzigingen voortplanten — aanzienlijke risico's vormen, vooral wanneer deze leiden tot onomkeerbare gevolgen (bijv. bacteriële contaminatie die niet kan worden ongedaan gemaakt). In tegen tegenstelling tot directe fouten, stoppen deze de uitvoering niet, waardoor ze onzichtbaar zijn voor standaard "plan-execute-replan"-loops.

Methodologie: SIMMER

Om dit gat te dichten, introduceren de auteurs SIMMER, een benchmark die ontworpen is om LLM-planning te evalueren door middel van uitvoering tegen een symbolisch wereldmodel. SIMMER bestaat uit drie geïntegreerde componenten:

1. Symbolisch Wereldmodel

Dit model is geworteld in het keuken-domein en is afgeleid van echte kookscripts verzameld van wikiHow en Instructables.

• Schaal: Het definieert 77 acties en 262 unieke objecten, wat ongeveer 46.800 semantisch realistische interacties ondersteunt.
• Structuur: Volgens het PDDL-paradigma worden acties gedefinieerd als tuples van <args, preconditions, effects> en objecten als <properties, states, location>.
• Rijkdom: In tegen tegenstelling tot eerdere omgevingen (zoals VirtualHome met ~2.100 interacties), modelleert SIMMER fijnmazige staatafhankelijkheden, zoals hoe een "vuile" staat zich voortplant van rauw vlees naar een snijplank en vervolgens naar groenten.

2. Foutentaxonomie

De benchmark categoriseert planningsfouten in drie verschillende typen:

• Directe fouten (Immediate Failures): Schendingen van expliciete precondities die uitvoering blokkeren (bijv. proberen te snijden zonder een mes vast te houden).
• Latente fouten (Latent Failures): Fouten die geen precondities schenden, maar het doel later in gevaar brengen (bijv. het vergeten toe te voegen van bakpoeder).
• Onomkeerbare latente fouten (Irreversible Latent Failures): Een kritieke subset van latente fouten waarbij het gevolg niet kan worden ongedaan gemaakt door opeenvolgende acties (bijv. kruiscontaminatie van voedsel).

3. State Machine Plan Executor

Een aangepaste executor simuleert de uitvoering van plannen stap voor stap om fouten te detecteren die onzichtbaar zijn voor conventionele metrieken.

• Fase 1 (Uitvoering): Controleert precondities en past staatsovergangen toe, inclus�s de propagatie van latente staatswijzigingen (bijv. verspreiding van contaminatie).
• Fase 2 (Post-Execution Audit): Scant de eindstaat op onopgeloste problemen (bijv. voedsel dat onbereid is achtergelaten, apparaten die aan staan) die niet tijdens de individuele stappen zijn gemarkeerd.

Belangrijkste Bijdragen

1. SIMMER Benchmark: De eerste benchmark die expliciet latente en onomkeerbare fouten in LLM-planning evalueert met behulp van een grootschalig, door mensen gecureerd symbolisch wereldmodel in het keuken-domein.
2. Systematische Analyse: Een uitgebreide evaluatie van zes LLM's (inclusief frontier propriëtaire modellen zoals GPT-5.4 en open-weight modellen zoals Llama 3.3) die wijdverspreide planningsfouten onthult.
3. Mitigatiestrategie: De voorstel en evaluatie van Counterfactual Foresight Simulation, een prompting-strategie die expliciete staatredenering afdwingt vóór elke actie.

Experimentele Resultaten

De auteurs evalueerden zes LLM's op 100 kooktaken verspreid over 12 technieken.

• Hoge foutpercentages: Zelfs de best presterende frontier-modellen produceerden foutloze plannen in minder dan 17% van de taken (gemiddelde over alle modellen was ~7,2%).
• Latente fouten: Tot 56% van de plannen bevatte latente fouten. Cruciaal is dat een aanzienlijk deel (20–45% van de plannen) onomkeerbare fouten bevatte.
• Foutmodi:
  • Latente fouten werden voornamelijk veroorzaakt door State Propagation (het onvermogen om bij te houden hoe staten zoals contaminatie objecten overnemen) en Implicit Precondition Ignorance (het missen van veiligheidskritische stappen die niet expliciet in instructies staan).
  • Directe fouten werden gedomineerd door Embodiment Grounding Deficiency (het negeren van fysieke beperkingen zoals draagcapaciteit) en State Tracking Errors.
• Effectiviteit van mitigatie:
  • Self-Refine (een post-hoc kritiek-pipeline) verminderde het totaal aantal fouten met meer dan 40% voor frontier-modellen, maar bood marginaal of zelfs negatieve voordelen voor zwakkere modellen.
  • Counterfactual Foresight Simulation (stap-voor-stap staatvoorspelling tijdens generatie) bleek het meest effectief. Het verminderde latente fouten met tot wel 72% en onomkeerbare fouten met tot wel 75% op frontier-modellen. Dit suggereert dat het externaliseren van staatstracking via expliciete redenering de betrouwbaarheid van planning aanzienlijk verbetert.

Betekenis en Claims

Het artikel claimt dat huidige evaluaties de planningcapaciteiten van LLM's substantieel overschatten door zich te concentreren op oppervlakkige correctheid terwijl ze fouten missen die zich stilzwijgend door de wereldstaten voortplanten.

De betekenis van SIMMER ligt in het vermogen om:

1. Kritieke hiaten bloot te leggen: Aantonen dat zelfs state-of-the-art modellen worstelen met impliciete staatafhankelijkheden, wat leidt tot veiligheidschendingen die vaak onomkeerbaar zijn.
2. Een diagnostisch hulpmiddel te bieden: Een gestructureerde taxonomie en executor aanbieden om onderscheid te maken tussen directe, latente en onomkeerbare fouten, wat gerichtere verbeteringen mogelijk maakt.
3. Toekomstig onderzoek te sturen: Suggereren dat expliciete staatredenering (via counterfactual foresight) een veelbelovende richting is voor het bouwen van robuustere LLM-planners, met name voor scenario's met hoge inzet waarbij stille fouten onomkeerbare schade kunnen veroorzaken.

De auteurs concluderen dat hoewel LLM's potentieel tonen, hun inzet in veiligheidskritische huishoudelijke omgevingen een rigoureuze evaluatie vereist tegen symbolische wereldmodellen die rekening houden met de volledige complexiteit van staatspropergatie en onomkeerbare gevolgen.