🤖 AI

SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs

Het artikel introduceert SymboUQ, een symbolisch onzekerheidskwantificatie-framework dat de betrouwbaarheidsschatting van de ruimtelijke redenering van grote taalmodellen verbetert door onderscheid te maken tussen het vermogen van een bewering om te worden geformaliseerd en de semantische determinatie, waardoor het bestaande baselines op meerdere benchmarks overtreft.

Oorspronkelijke auteurs: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij door een stad moet navigeren. Je wilt niet alleen dat de robot zegt: "Ik denk dat de bank aan de linkerkant zit," want de robot kan heel vloeiend gissen terwijl hij de kaart volledig verkeerd begrijpt. Dit is de uitdaging van ruimtelijk redeneren in Kunstmatige Intelligentie: ervoor zorgen dat een computer niet alleen zelfverzekerd klinkt, maar ook echt begrijpt waar dingen zich in relatie tot elkaar bevinden. Wetenschappers hebben "Large Language Models" (LLM's) gebouwd die geweldig zijn in het schrijven van verhalen en het oplossen van puzzels, maar ze struikelen soms over eenvoudige logica, zoals het verwisselen van links en rechts. Om dit op te lossen, gebruiken onderzoekers Uncertainty Quantification (UQ), wat in feite een manier is voor de AI om te zeggen: "Ik weet het niet zeker," of "Ik ben zeer zeker." De grote vraag is: hoe weten we of de AI daadwerkelijk gelijk heeft wanneer hij beweert zeker te zijn, vooral wanneer hij door een complexe mentale kaart navigeert?

Maak kennis met SymboUQ, een nieuwe methode die fungeert als een super slimme redacteur voor het denkproces van de AI. In plaats van alleen de uiteindelijke conclusie te controleren, kijkt SymboUQ naar de stapsgewijze redenering die de AI opschrijft. Het behandelt de gedachten van de AI als een bouwproject. Eerst controleert het of de AI de juiste gereedschappen gebruikt (kan de zin worden omgezet in een wiskundig probleem?). Daarna controleert het of de constructie daadwerkelijk overeind blijft (werkt de wiskunde, of stort het gebouw in?). Het onderzoek stelt vast dat door deze twee controles van elkaar te scheiden, SymboUQ veel beter kan voorspellen of het uiteindelijke antwoord van een AI betrouwbaar is dan eerdere methoden. In tests met vijf verschillende ruimtelijke puzzels verbeterde deze nieuwe aanpak het vermogen van de AI om zijn eigen fouten te ontdekken met ongeveer 8% en verminderde het zijn gokfouten met 7% vergeleken met de beste bestaande tools.

Het Probleen: De Vloeiende Leugenaar

Stel je voor dat een AI probeert uit te zoeken waar een lamp in een kamer staat. De AI schrijft een lange, vloeiende paragraaf: "De lamp staat op de tafel. De tafel staat onder het raam. Daarom staat de lamp bij het raam." Dit klinkt perfect. Maar wat als de AI stiekem dacht dat de tafel boven het raam stond? De laatste zin kan nog steeds toevallig waar zijn, of de hele keten kan onzin zijn, maar de AI klinkt zo vloeiend dat we hem vertrouwen.

Huidige methoden proberen te raden of de AI liegt door te kijken naar hoe "zelfverzekerd" de AI klinkt of door hem de vraag vele malen te laten herhalen. Maar dit is alsoam met controleren of de handen van een goochelaar snel bewegen; het vertelt je niet of het konijn daadwerkelijk in de hoed zit. Het artikel betoogt dat we voor ruimtelijk redeneren een ander soort controle nodig hebben. We moeten zien of de interne kaart van de AI daadwerkelijk logisch is.

De Oplossing: De SymboUQ Detective

De auteurs hebben een systeem gebouwd genaamd SymboUQ (Symbolic Uncertainty Quantification). Zie dit als een drieledig detective-team dat de redeneerreeks van de AI (het verhaal dat de AI zichzelf vertelt) auditeert.

1. De Layout Auditor (De Vertaler en Bouwer)

Eerst probeert de Layout Auditor de Engelse zinnen van de AI te vertalen naar een strikte, wiskundige taal van regels. Het stelt twee vragen:

Kunnen we het vertalen? (Symboliseerbaarheid): Kan de zin "De kat zit op de mat" worden omgezet in een duidelijke regel zoals Kat is Boven Mat? Als de AI iets vaags zegt als "De kat zit ergens in de buurt van de mat," kan de vertaler vastlopen.
Bouwt het een huis? (Semantische Determinatie): Zelfs als de zin is vertaald, werkt de wiskunde dan? Als de AI zegt "De kat zit op de mat" en vervolgens "De mat zweeft in de lucht," dan breekt de wiskunde. Het huis stort in.

Het slimme aspect van SymboUQ is het besef dat alleen omdat een AI een zin kan vertalen (het is "symboliseerbaar"), betekent dit nog niet dat de zin tot een definitief antwoord leidt. De AI kan een zin perfect vertalen, maar de wiskunde kan zeggen: "Ik weet het niet, er is niet genoeg informatie." SymboUQ noemt dit Semantische Determinatie. Het is het verschil tussen het hebben van een blauwdruk en het daadwerkelijk hebben van een gebouw dat overeind blijft.

2. Het Determinacy Profile (Het Rapportcijfer)

Vervolgens maakt het systeem een Determinacy Profile. Stel je een rapportcijfer voor dat niet alleen "Goed gedaan" of "Niet geslaagd" zegt. In plaats daarvan zegt het:

"Je hebt geprobeerd 5 van de 6 zinnen te vertalen."
"Maar slechts 3 van die vertalingen vormden daadwerkelijk een werkend gebouw."
"De andere 2 waren ofwel te vaag of zorgden ervoor dat de hele structuur instortte."

Dit profiel vertelt het systeem hoeveel van de redenering van de AI daadwerkelijk bruikbare bewijslast is. Als de AI een verhaal schrijft dat voor 90% vloeiend is, maar slechts voor 10% wiskundig logisch is, vangt dit profiel dat op.

3. De Reliability Composer (De Slimme Mixer)

Ten slotte neemt de Determinacy-Aware Reliability Composer (DARC) alle aanwijzingen samen. Het mengt het "wiskundige bewijs" van de Layout Auditor met andere signalen, zoals hoe zelfverzekerd de AI klonk of hoe vaak hij het antwoord herhaalde. Maar hier zit de magie: het weet wanneer het de wiskunde moet vertrouwen en wanneer het de andere signalen moet vertrouven.

Als de redenering van de AI helder is en de wiskunde werkt (hoge determinatie), leunt DARC zwaar op het wiskundige bewijs.
Als de redenering van de AI rommelig is of de wiskunde vastloopt (lage determinatie), weet DARC dat het wiskundige bewijs nog niet nuttig is, en luistert het meer naar de andere signalen.

Wat Ze Hebben Gevonden

De onderzoekers hebben SymboUQ getest op vijf verschillende datasets (zoals verschillende soorten ruimtelijke puzzels) met behulp van vier verschillende AI-modellen. Ze kwamen tot de volgende bevindingen:

Het werkt beter: SymboUQ was ongeveer 8% beter in het hoger rangschikken van correcte antwoorden dan incorrecte antwoorden vergeleken met de sterkste eerdere methoden.
Het maakt minder fouten: Het verminderde de fout in de waarschijnlijkheidschatting met 7%.
Het onderscheid tussen "Wiskunde vs. Vaag" is cruciaal: Ze bewezen dat het enkel tellen van hoeveel zinnen de AI kon vertalen (parse coverage) niet genoeg is. Je moet tellen hoeveel zinnen daadwerkelijk leidden tot een definitief "Ja" of "Nee" (semantische determinatie).

Waarom Het Belangrijk Is

Dit artikel beweert niet dat het alle problemen van AI heeft opgelost. Het zegt niet dat de AI nu perfect is in ruimtelijk redeneren. In plaats daarvan biedt het een betere manier om de AI te vertrouwen. Het laat zien dat door te controleren of de redenering van de AI niet alleen vloeiend is, maar ook uitvoerbaar en besluitvaardig, we een veel duidelijker beeld kunnen krijgen van de vraag of het antwoord daadwerkelijk betrouwbaar is. Het is also eigenlijk van het vragen aan een student: "Heb je het gevoel dat je het goed hebt?" naar het daadwerkelijk controleren van hun huiswerk om te zien of de stappen kloppen.

Kortom, SymboUQ leert ons dat in de wereld van AI een vloeiend verhaal niet altijd een waar verhaal is. Om te weten of de AI het bij het rechte eind heeft, moeten we zien of zijn mentale kaart daadwerkelijk gebouwd kan worden, steen voor steen, volgens de logica.

Technische Samenvatting: SymboUQ

Probleemstelling

Grote taalmodellen (LLM's) genereren vaak vloeiende redeneerpaden voor ruimtelijke redeneertaken, maar de tussenliggende relationele stappen kunnen er toch niet in slagen de uiteindelijke conclusie te ondersteunen. Een enkele onjuiste directionele of containment-relatie kan de geïnferrederde ruimtelijke configuratie corrumperen, terwijl de uitleg schijnbaar coherent blijft. Bestaande methoden voor onzekerheidskwantificatie (UQ) vertrouwen op token-niveau statistieken, semantische overeenstemming of interne representaties, die weliswaar kunnen correleren met juistheid, maar de ruimtelijke semantiek niet direct evalueren. Daarentegen bieden formele verifieerders sterker semantisch bewijs, maar lijden zij aan beperkte toepasbaarheid: een bewering kan succesvol worden geparsed naar een formele taal (symboliseerbaar), maar toch een "onbekend" of "niet-evalueerbaar" resultaat opleveren door onvoldoende premissen of inconsistenties in de context. Bijgevolg is parse-dekking alleen een onvoldoende proxy voor de hoeveelheid bruikbaar bewijs die een verifieerder biedt.

Methodologie: SymboUQ

De auteurs stellen SymboUQ voor, een symbolisch onzekerheidskwantificatieframework dat de betrouwbaarheid van het eindantwoord inschat door onderscheid te maken tussen symboliseerbaarheid (of een bewering vertaald kan worden naar de formele taal van de verifieerder) en semantische determinatie (of het uitvoeren van die bewering leidt tot een definitief gevolgtrekking- of tegenspraakverdict). Het framework bestaat uit drie kerncomponenten:

1. Layout Auditor

De Layout Auditor voert opeenvolgende ruimtelijke beweringen uit tegen een vertrouwde scènebeschrijving.

Constraint Generation: Het brengt natuurlijke taaluitspraken in kaart naar een canoniek relatiesysteem (triples van onderwerp, relatie, object) dat richting, containment, afstand en topologie beslaat.
Execution & Verdicts: Het onderhoudt een actieve context (de vertrouwde scène plus voorafgaande symboliseerbare beweringen) en evalueert elke bewering $c_k$ $c_{k}$ tegen deze context. Beweringen ontvangen één van vier statussen:
- Entailed ($en$): De bewering volgt uit de actieve context.
- Contradicted ($co$): De bewering is in strijd met de actieve context.
- Unknown ($un$): De bewering is symboliseerbaar, maar de context bevat onvoldoende informatie om dit op te lossen.
- Not Evaluable ($no$): De actieve context is al onhaalbaar (door eerdere tegenstrijdigheden), wat verdere evaluatie verhindert.
Evidence Extraction: De auditor extraheert kenmerken gerelateerd aan haalbaarheid, conflictdetectie en begrensde herstelkosten (het verwijderen van gegenereerde relaties om haalbaarheid te herstellen terwijl de vertrouwde scène vast blijft staan).

2. Determinacy Profile

Deze module genereert een label-vrij profiel $\phi(r)$ dat de "effectieve uitvoerbare dekking" van een redeneerpad karakteriseert, onafhankelijk van de polariteit van het verdict.

Symbolizability ( $\pi(r)$ ): Het deel van de beweringen dat in de formele taal geparsed kan worden.
Unknown Rate ( $\nu(r)$ ): Het deel van de geparseerde beweringen die onopgelost blijven (unknown).
Semantic Determinacy ( $d(r)$ ): Het deel van de geparseerde beweringen dat een definitief verdict ($en$ of $co$) ontvangt onder een haalbare context. Cruciaal is dat beweringen gemarkeerd als "not evaluable" de determinatie verminderen, omdat zij een verlies van bruikbaar bewijs vertegenwoordigen.
Verifier Applicability ( $\delta(r)$ ): Gedefinieerd als $\pi(r) \times d(r)$ , wat het deel van alle beweringen vertegenwoordigt die zowel symboliseerbaar als semantisch bepaald zijn.

3. Determinacy-Aware Reliability Composer (DARC)

DARC integreert heterogene betrouwbaarheidssignalen (constraint-gebaseerd, representatie-gebaseerd en decoding-gebaseerd) geconditioneerd op het toepasbaarheidsprofiel van het spoor.

Candidate Bank: Het maakt gebruik van een bank van pre-trained of training-free estimators (bijv. token entropie, neurale probes, constraint solvers).
Target Adaptation: Met behulp van een gelabelde validatiesplit uit het doeldomein screent DARC de kandidaten (verwijdert scores die bijna willekeurig zijn) en oriënteert deze (draait scores om als de AUROC $<0.5$ is).
Applicability-Conditioned Composition: DARC construeert feature-vectoren die de scores van kandidaten interageren met het determinatieprofiel. Specifiek gebruikt het interactietermen zoals $\delta(r) \cdot s_j(r)$ om de bijdrage van constraint-gebaseerd bewijs te moduleren op basis van semantische determinatie. Dit stelt het model in staat om symbolisch bewijs minder zwaar mee te wegen wanneer de determinatie laag is, terwijl de ruwe scores van neurale/decoding bronnen behouden blijven. De uiteindelijke betrouwbaarheidsscore $p(r)$ wordt berekend via een logistische functie met $\ell_2$ -regularisatie.

Belangrijkste Bijdragen

Conceptueel Onderscheid: Het werk maakt onderscheid tussen tekstuele symboliseerbaarheid en semantische determinatie, wat een principieel fundament biedt voor het bepalen wanneer verifieerder-afgeleid bewijs informatief is. Het stelt dat parse-dekking alleen onvoldoende is, omdat het geen rekening houdt met onopgeloste of geblokkeerde beweringen.
Technisch Framework: SymboUQ introduceert een driestaps-pipeline (Layout Auditor, Determinacy Profile, DARC) die expliciet omgaat met de "unknown" en "not-evaluable" regimes van formele verificatie, en deze integreert met neurale signalen.
Empirische Prestaties: Het framework vertoont consistente verbeteringen ten opzien van sterke baselines over diverse ruimtelijke redeneerbenchmarks en LLM-backbones.

Experimentele Resultaten

De auteurs evalueerden SymboUQ op vijf ruimtelijke redeneerbenchmarks (StepGame, SpaRTQA, SpaRTUN, SpaceNLI, SpaRP) met vier bevroren LLM-backbones (Mistral-7B, Llama-3.1-8B, Gemma-2-9B, Qwen3-8B).

Prestaties: SymboUQ behaalde de sterkste algemene prestaties in trace-ranking (AUROC) en waarschijnlijkheidsschatting (class-balanced Brier loss). Het vertoonde een gemiddelde relatieve verbetering van 8% in AUROC en een relatieve reductie van 7% in class-balanced Brier loss vergeleken met de sterkste externe baseline.
Ablatie-studies:
- Applicability Awareness: Het verwijderen van de determinatie-bewuste interacties (het gebruik van enkel score stacking) resulteerde in een prestatiedaling van 0,032–0,052 AUROC, wat bevestigt dat conditionering op toepasbaarheid cruciaal is.
- Determinacy vs. Parse Coverage: Analyse toonde aan dat de scheiding van constraint-scores monotoon toeneemt met semantische determinatie, maar niet met parse-dekking, wat valideert dat determinatie een betere karakterisering is van de nuttigheid van de verifieerder.
- Context Semantiek: Het gebruik van een "assumed context" (waarbij ongeverifieerde hypothesen worden toegestaan) in plaats van een strikt "grounded context" leverde significante winst op, aangezien dit het systeem in staat stelt om zelf-tegenspraken binnen de gegenereerde keten te detecteren.
Efficiëntie: De methode is computationeel efficiënt en verwerkt ongeveer 159 traces per seconde met een klein aantal trainbare parameters (8,13M) en vereist slechts een korte trainingstijd (9 minuten) op de doelvalidatiesplit.

Betekenis

Het artikel beweert dat SymboUQ een kritieke kloof in de betrouwbaarheidsschatting van LLM's adresseert: de disconnect tussen het vermogen om een bewering te parsen en het vermogen om deze semantisch te resolveren. Door "unknown" en "not-evaluable" uitkomsten te behandelen als verschillend van "contradicted" en expliciet het verlies van bewijs door context-onhaalbaarheid te modelleren, biedt het framework een getrouwere maatstaf voor de toepasbaarheid van de verifieerder. De resultaten suggereren dat voor ruimtelijke redenering de schatting van betrouwbaarheid aanzienlijk profiteert van de integratie van formele verificatiesignalen met neurale signalen, mits de integratie geconditioneerd is op de semantische determinatie van het spoor in plaats van enkel op de parseerbaarheid. Het werk vestigt dat symbolische onzekerheidskwantificatie effectief kan worden toegepast op vrije vorm redeneerpaden zonder dat hiervoor ground-truth labels voor tussenliggende stappen nodig zijn tijdens het auditeringsproces.