Technische Samenvatting: NeSy-Spatial

Probleemstelling

Large Vision-Language Models (LVLMs) hebben sterke capaciteiten getoond in algemene multimodale redenering, maar blijven onbetrouwbaar voor fijnmazige ruimtelijke taken. Deze taken vereisen vaak nauwkeurige visuele perceptie en gestructureerde geometrische berekeningen die de mogelijkheden van end-to-end generatie overstijgen. Hoewel tool-augmentatie (het benutten van externe visiemodellen en executoren) een oplossing biedt, lijden bestaande benaderingen onder twee primaire beperkingen:

1. Dynamische Planning: Methoden die tool-aanroepen vanaf nul plannen, missen vaak expliciete beperkingen op tool-afhankelijkheden en de volgorde van uitvoering, wat leidt tot ongeldige sequenties (bijv. het aanroepen van een Python-interpreter voordat de noodzakelijke objectcoördinaten zijn verkregen).
2. Vaste Pipelines: Methoden die vertrouwen op handmatig ontworpen pipelines zijn vaak redundant; ze roepen onnodige tools aan, ongeacht de complexiteit van de taak, en slagen er niet in te generaliseren naar diverse scenario's voor ruimtelijk redeneren.

Huidige agenten missen het vermogen om herbruikbare ervaring op te bouwen en deze adaptief samen te stellen voor nieuwe problemen, wat een framework noodzakelijk maakt dat ruimtelijke vaardigheden in de loop van de tijd kan abstraheren, verfijnen en evolueren.

Methodologie: NeSy-Spatial

De auteurs stellen NeSy-Spatial voor, een neuro-symbolisch framework ontworpen voor zelf-evoluerende ruimtelijke vaardigheden. Het framework abstraheert tool-interacties en geometrische operaties naar getypeerde, uitvoerbare atomaire instructies en stelt deze samen tot twee complementaire type vaardigheden: Tool-Use Skills en Geometry Skills.

1. Neuro-Symbolische Skill Formule

De skill-bibliotheek ($Lib$) bestaat uit een set atomaire instructies ($A$) en high-level skills ($S$), waarbij $S = S_{tool} \cup S_{geo}$.

• Atomaire Instructies: Dit zijn getypeerde uitvoerbare operaties met lokale verifiers. Ze zijn verdeeld in:
  • Tool Atomen ($A_{tool}$): Wrappers voor visuele tools en de Python-executor.
  • Geometry Atomen ($A_{geo}$): Herbruikbare codeblokken voor geometrische transformaties, numerieke vergelijkingen en relatieverificatie, uitgevoerd intern binnen de Python-tool.
• High-Level Skills: Vertegenwoordigd als node-edge-context structuren ($s = \{V, E, \kappa\}$).
  • Tool-Use Skills ($S_{tool}$): Organiseren door de controller zichtbare tool-atomen in herbruikbare workflows, waarbij uitvoeringsafhankelijkheden en context (bijv. object-bindings, tool-argumenten) worden gedefinieerd.
  • Geometry Skills ($S_{geo}$): Bieden herbruikbare, verifieerbare implementaties voor Python-tool-aanroepen, waarbij operaties zoals coördinatentransformatie en consistentiecontrole worden geabstraheerd.

2. Inferentieproces

Tijdens inferentie werkt NeSy-Spatial via een closed-loop proces bestaande uit vier stadia:

1. Skill Retrieval: De agent bevraagt de skill-bibliotheek met de huidige vraag en staat om een kandidaatset van relevante skills op te halen.
2. Action Selection: De controller selecteert de volgende actie: termineren met een antwoord, het activeren van een opgehaalde Tool-Use Skill, of het aanroepen van een specifieke tool-atoom. Geometry Skills worden geïnstantieerd binnen de Python-atoom in plaats van te fungeren als onafhankelijke controller-acties.
3. Tool/Code Executie: Geselecteerde acties voeren tool-atomen of afhankelijkheids-gereedstaande nodes uit. Wanneer een Python-atoom wordt bereikt, instancieert de agent een opgehaalde Geometry Skill om de constructie van de code te begeleiden, wat zorgt voor gestructureerde en verifieerbare geometrische berekening.
4. State Update: Executie-outputs en verifier-uitkomsten updaten het werkgeheugen, wat de volgende retrieval-ronde initieert totdat een definitief antwoord wordt geproduceerd.

3. Zelf-evolutie Mechanisme

Het framework evolueert de skill-bibliotheek tussen episodes op basis van een buffer van voltooide trajecten ($B_t$). Evolutie wordt getriggerd wanneer de buffer een drempelwaarde ($N_{buf}$) bereikt.

• Trajectanalyse: Het systeem ontleedt trajecten in operaties, argumenten en uitkomsten om herbruikbare structuren te identificeren. Het aggregeert afhankelijkheidspatronen om atomaire instructies bij te werken en ondersteunde of ongeldige skill-fragmenten te identificeren.
• Skill Fusie: Geëxtraheerde atomen en fragmenten worden gefuseerd met de bestaande bibliotheek. Dit omvat het toevoegen van nieuwe instructies, het vervangen van bestaande implementaties indien deze beter voldoen aan de verifiers, en het bewerken van high-level skills door ondersteunde fragmenten toe te voegen of redundante afhankelijkheden te verwijderen.
• Skill Pruning: Om ongebreidelde accumulatie te voorkomen, verwijdert het systeem items op basis van de aanroepgeschiedenis. Skills of atomen worden verwijderd als ze een foutenpercentage boven een drempelwaarde overschrijden, gedurende een specifieke duur inactief blijven, of onvoldoende aanroepondersteuning missen. Een anciënniteit-afhankelijke retentiefactor beschermt langdurig aanwezige items tegen voortijdige verwijdering.

Belangrijkste Bijdragen

1. Neuro-Symbolische Definitie van Ruimtelijke Vaardigheden: Het artikel introduceert een verenigde definitie die tool-aanroepen en geometrische berekeningen koppelt via getypeerde, uitvoerbare atomaire instructies.
2. NeSy-Spatial Framework: Een framework voor de zelf-evolutie van skills dat atomaire instructies en high-level skills (Tool-Use en Geometry) bijwerkt door middel van analyse, fusie en pruning van gebufferde trajecten.
3. Empirische Validatie: Uitgebreide evaluatie op drie benchmarks voor ruimtelijk redeneren (MMSI, MindCube, OmniSpatial), die consistente verbeteringen laten zien ten opzichte van base static tool-use agents en fixed-pipeline methoden.

Experimentele Resultaten

De auteurs evalueerden NeSy-Spatial met behulp van GPT-5.4 en Gemini 2.5 Pro als backbones over drie datasets.

• Redeneernauwkeurigheid: NeSy-Spatial behaalde de beste algehele nauwkeurigheid in vijf van de zes backbone-dataset instellingen. Opvallend genoeg presteerde het met Gemini 2.5 Pro aanzienlijk beter dan de sterkste baselines (bijv. +10,12% op MindCube).
• Tool Utilisatie: Het framework verbeterde de First-Pass Compositional Tool-Chain Success Rate (FTCS) en de Python-executiesuccesratio's aanzienlijk, wat wijst op betrouwbaarder en nauwkeuriger toolgebruik.
• Evolutie Dynamiek: Analyse toonde aan dat de skill-bibliotheek expandeerde van een kleine set seed-skills (3-4) naar een grotere, verfijnde set (tot 20) door online interactie. Cruciaal was dat de omvang van de bibliotheek niet monotoon was; pruning verwijderde actief onbetrouwbare of inactieve skills, waardoor een dynamisch evenwicht tussen accumulatie en verfijning werd behouden.
• Ablatie Studies: Het uitschakelen van skill-evolutie of het verwijderen van ofwel Tool-Use ofwel Geometry skills resulteerde in substantiële prestatieverliezen, wat bevestigt dat online evolutie en de complementaire aard van de twee types vaardigheden essentieel zijn voor het succes van het framework.

Betekenis en Claims

Het artikel claimt dat NeSy-Spatial het kritieke gat in huidige agenten voor ruimtelijk redeneren aanpakt: het onvermogen om te leren van ervaring en adaptief herbruikbare procedures samen te stellen. Door af te stappen van planning vanaf nul of het vertrouwen op rigide templates, stelt NeSy-Spatial agenten in staat om herbruikbare ervaring op te bouwen, skill-structuren te verfijnen door middel van foutdiagnose, en ineffectieve items te verwijderen. De resultaten suggereren dat zelf-evoluerende neuro-symbolische vaardigheden een robuust pad bieden voor het verbeteren van de betrouwbaarheid en efficiëntie van tool-augmented ruimtelijk redeneren, met name in scenario's die precieze geometrische berekening en meerstaps-inferentie vereisen. De auteurs merken op dat de huidige evaluatie beperkt is tot geselecteerde benchmarks en tool-omgevingen, waarbij toekomstig werk bedoeld is om bredere taken en transfer naar onbekende settings te onderzoeken.