MINT: Minimal Information Neuro-Symbolic Tree for Objective-Driven Knowledge-Gap Reasoning and Active Elicitation

Technische Samenvatting: MINT voor Doelgerichte Redenering over Kennisgaten

Probleemstelling
In open-wereld samenwerking tussen mens en AI wordt gezamenlijke planning vaak gehinderd door onvolledige informatie en onbekenden, zoals onzichtbare objecten, ambiguïteit in menselijke intenties of onzekere omgevingsbeperkingen. Deze "kennisgaten" creëren onzekerheden in statietransities en beloningsfuncties, wat leidt tot conservatieve uitvoeringen en suboptimale plannen. Hoewel bestaande methoden zoals Reinforcement Learning met Menselijke Feedback (RLHF) of few-shot adaptatie menselijke input kunnen verwerken, ontbreekt het hen vaak aan het vermogen om expressief te redeneren over deze gaten of actief de specifieke informatie te eliciteren die nodig is om ze te overbruggen. Daarentegen richten traditionele Human-in-the-Loop (HITL) benaderingen zich vaak op fine-tuning via demonstraties in plaats van het aanpakken van de oorzaak van kennisgaten via doelgerichte actieve elicitering.

Methodologie: Minimal Information Neuro-Symbolic Tree (MINT)
De auteurs stellen MINT voor, een raamwerk dat symbolische redenering, neurale planningspolitieken en Large Language Models (LLM's) combineert om de elicitering van menselijke input te optimaliseren. De methodologie werkt in twee hoofdfasen: training en implementatie.

1. Training van Neurale Politiek (Onzekerheidsschatting):
   Het systeem maakt gebruik van een gebootstrapt Deep Q-Network (specifiek UA-DQN) om niet alleen de optimale Q-waarden te schatten, maar ook de aleatorische onzekerheid (variantie) van planningsuitkomsten veroorzaakt door kennisgaten. Tijdens de training wordt de agent blootgesteld aan een familie van uitgebreide Markov Decision Processes (MDP's) waarbij het kennisgat $u$ delen van de ground-truth-descriptor $\phi$ maskeert. Het netwerk leert de gemiddelde waarde en variantie van Q-waarden te schatten over de verdeling van mogelijke descriptors $\Phi_u$.

2. Constructie en Expansie van Symbolische Boom:
   Wanneer een kennisgat wordt gedetecteerd (bijvoorbeeld hoge variantie in Q-waarden), construeert MINT een symbolische boom.

   • Knopen: Representeren staten van het planningsprobleem met specifieke kennisgaten, gekenmerkt door descriptors (type, subtye, waardenbereiken).
   • Randen: Representeren proposities (vragen) die worden voorgesteld om het gat te verkleinen.
   • Expansie: De boom breidt zich uit in een breedte-zoekmanier. Voor elke knoop schat de neurale politiek de gemiddelde opbrengst en variantie. Als de variantie hoog is ten opzichte van het opbrengstverschil tussen acties, wordt de knoop uitgebreid door de ruimte van kennisgaten te splitsen (bijvoorbeeld waardenbereiken verdelen of verschillende soorten onzekerheid hypothetiseren). Dit proces gaat door totdat de variantie voldoende laag is of een dieptelimiet is bereikt.

3. LLM-gebaseerde Curatie en Actieve Elicitatie:
   Zodra de boom is opgebouwd, verwerkt een LLM de structuur om de interactiestrategie te optimaliseren:

   • Pruning: De LLM voegt equivalente sub-bomen of bladeren samen die leiden tot identieke optimale acties om redundantie te elimineren.
   • Vraaggeneratie: De LLM synthetiseert binaire (ja/nee) vragen die zijn ontworpen om de informatiewinst met betrekking tot de kandidaten voor de optimale actie te maximaliseren.
   • Interactie: De agent stelt deze vragen aan de mens. Het menselijke antwoord update het kennisgat, waarbij inconsistente takken van de boom worden verwijderd. Dit iteratieve proces gaat door totdat de optimale actie met hoge zekerheid is geïdentificeerd.

Theoretische Analyse
Het artikel biedt een theoretische garantie voor de prestaties van MINT. Door een pseudo-metriek te definiëren tussen MDP's met verschillende overgangskernen en beloningsfuncties, bewijzen de auteurs een lokale pseudo-Lipschitz-continuïteit van de optimale Q-functies. Zij leiden een bovengrens af voor het opbrengstverschil tussen MINT-gebaseerde planning (met actieve elicitering) en een ideaal geval zonder kennisgaten. Deze analyse toont aan dat het iteratief verkleinen van het kennisgat via de vraagstrategie van MINT het opbrengstverschil verkleint, waardoor een prestatiegarantie wordt geboden.

Belangrijkste Bijdragen

1. MINT-raamwerk: Het voorstellen van een neuro-symbolische boom die een neurale planningspolitiek raadpleegt om te redeneren over de impact van kennisgaten en self-play benut om menselijke eliciteringsstrategieën te optimaliseren.
2. Theoretische Garanties: Het bewijs van lokale pseudo-Lipschitz-continuïteit voor planningsopbrengsten en het afleiden van een bovengrens voor het opbrengstverschil, wat een solide theoretische basis biedt voor actieve menselijke elicitering.
3. Empirische Validatie: Demonstratie dat MINT bijna-expert opbrengsten bereikt met aanzienlijk minder vragen (1–3 per object) in vergelijking met baselines in diverse omgevingen.

Experimentele Resultaten
De auteurs evalueerden MINT op drie benchmarks met toenemende realisme:

• MiniGrid: MINT bereikte bijna perfecte successpercentages en hoge gemiddelde beloningen, en presteerde aanzienlijk beter dan pure LLM's (die vaak te conservatief waren) en pure RL-methoden (die worstelden met onzekerheid). MINT behield hoge prestaties zelfs met een beperkt vragenbudget.
• Atari Pacman: In een omgeving met ruwe pixelobservaties en onbekende belonings-/overgangsgebieden bereikte MINT concurrerende opbrengsten in vergelijking met Human-in-the-Loop RL-baselines (Query-A), maar vereiste aanzienlijk minder vragen.
• Isaac Gym (Zoek- en Redding): In een hoogwaardig drone-reddingsscenario met rook-verduisterde objecten en verborgen doelen presteerde MINT beter dan op LLM gebaseerde planningsstrategieën, en navigeerde succesvol door onzekerheid door te redeneren over specifieke kennisgaten.

Betekenis en Claims
Het artikel claimt het eerste werk te zijn dat symbolische redenering over kennisgaten, neurale planningspolitieken en LLM's combineert om actieve en geoptimaliseerde menselijke elicitering in op taal gebaseerde planning mogelijk te maken. De auteurs stellen dat MINT effectief de kloof overbrugt tussen de interpreteerbaarheid van symbolische methoden en de aanpasbaarheid van neurale netwerken. Door kennisgaten systematisch te verkleinen via gerichte vragen, stelt MINT AI-agenten in staat om te fungeren als proactieve teamgenoten in plaats van passieve hulpmiddelen, waarbij bijna-expert prestaties worden bereikt terwijl de communicatiebelasting op menselijke partners wordt geminimaliseerd. Het werk suggereert dat deze aanpak bijzonder vitaal is voor open-wereldscenario's waar perfecte informatie niet beschikbaar is en conservatieve planning leidt tot niet-optimale uitkomsten.