Technische Samenvatting: Het distilleren van neuro-symbolische programma's naar 3D Multi-modale LLM's (APEIRIA)

1. Probleemstelling

Huidige benaderingen voor 3D ruimtelijk redeneren kampen met een fundamentele afruil tussen interpreteerbaarheid en flexibiliteit:

• Neuro-Symbolische 3D (NS3D) Leerders: Deze methoden bereiken interpreteerbaar, systematisch redeneren door queries te ontleden in compositionele programma's die worden uitgevoerd door concept-specifieke netwerken. Ze zijn echter beperkt tot closed-set vocabularies (niet in staat om open-vocabulary concepten zoals "gezellige stoel" te verwerken) en vereisen dichte, stap-voor-stap supervisie die vaak niet beschikbaar is in real-world datasets.
• 3D Multi-modale Large Language Models (3D MLLMs): Deze modellen maken gebruik van de semantische flexibiliteit van LLM's om complexe, open-vocabulary natuurlijke taalinstructies aan te kunnen. Ze opereren echter als black boxes, zonder expliciete redeneerstructuren of verificatiestappen. Wanneer ze falen, is er geen spoor om te diagnosticeren of de fout ligt bij objectherkenning, relatiebegrip of logische compositie.

Het artikel stelt dat het vakgebied gevangen zit tussen interpreteerbare maar beperkte NS3D-methoden en krachtige maar ondoorzichtige MLLM's. De kernuitdaging is het ontkoppelen van conceptleren van redeneerleren, waarbij de systematische "syntax" van redeneren wordt overgedragen van symbolische programma's naar de semantische flexibiliteit van MLLM's.

2. Methodologie: APEIRIA

De auteurs introduceren APEIRIA (Apeiria, wat "Onbeperkt" betekent in het Grieks), een neuro-symbolische 3D MLLM die deze paradigma's overbrugt door symbolische redeneerpatronen te distilleren in natuurlijke taal Chain-of-Thought (CoT). Het model wordt getraind via een curriculum van drie stadia:

3.1. Object-Centrische Representatie

APEIRIA maakt gebruik van een efficiënte object-centrische scène-representatie om het aantal input-tokens te minimaliseren (ongeveer 400 tokens versus 10k–40k in video-gebaseerde MLLM's).

• Segmentatie: Scènes worden gesegmenteerd in objectinstanties met behulp van Mask3D.
• Feature Extractie: Visueel-geometrische features worden geëxtraheerd via Uni3D, en 2D verschijningsfeatures via DINOv2.
• Ruimtelijke Encoding: Objectlocaties en dimensies worden gecodeerd via leerbare positionele embeddings.
• Input: Deze features worden geconcateneerd en afgewisseld met instructie-tokens als input voor de LLM.

3.2. Curriculum-gebaseerde Redeneerdistillatie

Het trainingsproces bouwt progressief redeneervermogen op via drie stadia:

Stadium 1: Perceptie Alignment

• Doel: Het gronding van 3D visueel-geometrische features aan de tekstuele embeddingruimte van de LLM.
• Methode: Standaard 3D vision-language pre-training op een mix van object-centrische taken (herkenning, lokalisatie en captioning) met behulp van ~193K instructie-respons paren uit datasets zoals ScanNet en MMScan.
• Resultaat: Het model leert objectcategorieën, attributen en locaties te herkennen, wat een fundament legt voor scène-begrip.

Stadium 2: Injectie van Symbolisch Redeneren (CoT-SFT)

• Doel: Het model de "syntax" van ruimtelijk redeneren aanleren (iteratieve ontleding en verificatie).
• Methode: Het model wordt gefinetuned met behulp van Chain-of-Thought Supervised Fine-Tuning (CoT-SFT) op traces afgeleid van neuro-symbolische programma's.
  • Data Constructie: Programma's van synthetische datasets (Sr3D) en geannoteerde datasets (ScanNet, MMScan) worden geparst naar executie-traces. Elke stap wordt geserialiseerd in natuurlijke taal die het volgende bevat:
    • Plannen: Expliciete redeneerdoelen (bijv. "Zoek alle objecten van de categorie 'vaas'").
    • Executies: Stap-voor-stap inputs en outputs met objectdetails (ID's, posities, grootte).
  • Trace Structuur: De CoT brengt symbolische operaties (bijv. filter, relate) expliciet in kaart naar transparante redeneerstappen, waarbij objecten worden gerefereerd via unieke ID's en ruimtelijke configuraties.
• Resultaat: Het model leert systematische query-ontleding en stapsgewijze ruimtelijke verificatie, waardoor het de redeneerpatronen van NS3D internaliseert zonder afhankelijk te zijn van rigide concept-specifieke netwerken.

Stadium 3: Generalisatie naar Open-Set en Complexe Redenering (CoT-RL)

• Doel: De geleerde redeneerpatronen uitbreiden naar real-world scenario's die open-vocabulary concepten en diepe nesting bevatten waar stap-voor-stap supervisie niet beschikbaar is.
• Methode: Chain-of-Thought Reinforcement Learning (CoT-RL) met behulp van Group Relative Policy Optimization (GRPO).
  • Reward Functie: Een samengestelde reward wordt gebruikt om exploratie te sturen:
    • Soft Grounding Reward: Evalueert de configuratie-gelijkenis (locatie en grootte) tussen voorspelde en grondwaarheid objecten om dense feedback te bieden, wat de schaarste van standaard IoU-metrieken vermijdt.
    • Format Reward: Een binaire constraint die ervoor zorgt dat het model het gestructureerde CoT-formaat behoudt (plan en thinking tags) om "structuur-instorting" naar directe antwoorden te voorkomen.
• Resultaat: Het model past zich aan complexe, geneste instructies en open-vocabulary beschrijvingen aan (bijv. "comfortabel meubilair") terwijl de systematische redeneerstructuur behouden blijft.

3.2. Modulaire Inferentie Verbetering

Een uniek kenmerk van APEIRIA is de expliciete ontkoppeling van planning (redeneren) en executie (perceptie).

• Externe Plan Injectie: De redeneer-trace kan plannen accepteren die gegenereerd zijn door externe, krachtigere LLM's (bijv. GPT-4, Claude) zonder hertraining.
• Vervanging van Perceptie Module: De uitvoering van de scene() primitief kan worden vervangen door outputs van state-of-the-art 3D perceptiemodellen (bijv. SegDINO3D) door hun output te formatteren zodat deze overeenkomt met de CoT-trace. Dit stelt het systeem in staat om dynamisch te profiteren van verbeteringen in perceptiemodellen.

3. Belangrijkste Bijdragen

1. APEIRIA Architectuur: Een neuro-symbolische 3D MLLM die de systematische strengheid van symbolische methoden verenigt met de semantische flexibiliteit van LLM's door redeneren te modelleren als transparante Chain-of-Thought.
2. Curriculum-gebaseerd Distillatie Framework: Een nieuw drie-stappen trainingsproces dat redeneerpatronen progressief overdraagt van neuro-symbolische programma's naar 3D MLLM's: van perceptie-alignment, via injectie van symbolisch redeneren, naar open-set generalisatie via reinforcement learning.
3. Empirische Validatie: Demonstratie dat APEIRIA voorgaat op eerdere neuro-symbolische methoden en de state-of-the-art 3D MLLM's evenaart of overtreft op 3D ruimtelijke redeneer-benchmarks, terwijl het transparante redeneren en efficiënte generalisatie behoudt.

4. Experimentele Resultaten

Evaluaties werden uitgevoerd op ScanRefer en Multi3DRefer voor ruimtelijke grounding, SQA3D voor gesitueerde vraagbeantwoording, en Scan2Cap voor dense captioning.

• Prestaties in Ruimtelijk Redeneren: APEIRIA behaalde 58.4% Acc@0.25 en 51.2% Acc@0.5 op ScanRefer, en 59.2% F1@0.25 en 53.8% F1@0.5 op Multi3DRefer. Met modulaire inferentie-verbetering (gebruikmakend van externe planners/perceptie) verbeterden deze scores naar 60.5% en 53.2% (ScanRefer) en 60.9% en 55.2% (Multi3DRefer), waarmee het alle baselines inclusief Chat-Scene en Inst3D-LMM overtreft.
• Zero-Shot Generalisatie: In een zero-shot setting op Nr3D (getraind enkel op synthetische Sr3D data), behaalde APEIRIA 36.5% accuratesse, waarmee het de volledig gesuperviseerde NS3D baseline (33.9%) met 2.6% versloeg. Dit demonstreert het vermogen van het model om te generaliseren naar open-vocabulary concepten ("rommelig", "gezellig") die traditionele NS3D-methoden niet kunnen hanteren.
• Taak Generalisatie: Het framework werd succesvol overgedragen naar SQA3D en Scan2Cap zonder de symbolische redeneerpipeline te wijzigen (alleen de outcome reward aanpassen), wat het algemene karakter van het paradigma bevestigt.
• Ablatie Studies:
  • Het verwijderen van Stadium 3 (RL) veroorzaakte een significante prestatiedaling (6.9% op ScanRefer), wat de noodzaak van RL bevestigt voor het aanpassen aan complexe real-world instructies.
  • Het verwijderen van Stadium 2 (CoT-SFT) leidde tot catastrofaal falen, wat de noodzaak bewijst van een gestructureerde "warm start" voor redeneren.
  • Het verwijderen van de "Thinking" trace (het forceren van directe antwoorden) verminderde de prestaties, wat aangeeft dat de expliciete redeneerprocedure essentieel is om het volledige potentieel van ruimtelijk redeneren te ontsluiten.
  • Analyse van redeneercomplexiteit toonde aan dat de voordelen van RL toenemen met het aantal redeneerstappen, wat supervisie biedt voor complexe ketens waar SFT tekortschiet in traces.

5. Betekenis en Claims

Het artikel claimt dat APEIRIA erin slaagt de kloof te overbruggen tussen interpreteerbare maar beperkte symbolische methoden en flexibele maar ondoorzichtige end-to-end MLLM's. Door redeneerpatronen te distilleren in plaats van concept-specifieke kennis, behoudt de methode de belangrijkste neuro-symbolische deugden:

• Transparantie: Inferentie is transparant door expliciete redeneer-traces, wat foutdiagnose en debugging mogelijk maakt.
• Modulariteit: De scheiding tussen planning en perceptie maakt plug-and-play integratie van sterkere componenten (bijv. betere LLM's of 3D detectoren) mogelijk zonder hertraining.
• Schaalbaarheid: De aanpak maakt de transfer van systematische redeneervermogens van synthetische, volledig gesuperviseerde omgevingen naar real-world, open-vocabulary scenario's mogelijk.

De auteurs positioneren dit werk als een eerste stap richting interpreteerbare en bruikbare embodied agents, waarbij een framework wordt geboden voor systematische en verifieerbare grounding in 3D-omgevingen. Ze erkennen beperkingen, waarbij zij opmerken dat de prestaties nog steeds begrensd worden door de onderliggende 3D-perceptiemodule en dat zeer diepe redeneerketens of natuurkundig gebaseerd redeneren gebieden zijn voor toekomstig onderzoek.