Compositional Neuro-Symbolic Reasoning

Dit paper introduceert een composioneel neuro-symbolisch redeneersysteem dat objectgerichte perceptie, neurale voorstellen voor transformaties en symbolische consistentiefiltering combineert om de generalisatie van grote taalmodellen op de ARC-AGI-2-taak aanzienlijk te verbeteren zonder taakspecifieke finetuning.

De kern

Stel je voor dat je een puzzel oplost, zoals een Sudoku of een Legpuzzel, maar dan met gekleurde blokjes op een rooster. Dit is wat het ARC (Abstraction and Reasoning Corpus) doet. Het is een test om te zien of een computer echt slim is, of dat hij alleen maar dingen uit zijn hoofd heeft geleerd.

Deze paper beschrijft een nieuwe manier om computers slim te maken voor deze puzzels. De auteurs noemen hun systeem een "Neuro-Symbolic Reasoner". Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel als je het vergelijkt met hoe een mens denkt.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Twee Slechte Opties

Vroeger hadden computers twee manieren om te proberen deze puzzels op te lossen, en beide hadden grote nadelen:

• Optie A: De "Grote Leraar" (Neurale Netwerken/LLM's)
  Stel je een zeer slimme student voor die miljoenen boeken heeft gelezen. Hij kan heel goed praten en patronen herkennen. Maar als je hem een nieuwe, rare puzzel geeft, raakt hij in de war. Hij probeert te raden op basis van wat hij eerder heeft gezien, maar hij begrijpt de regels erachter niet echt. Hij is als een acteur die een rol speelt: hij ziet er slim uit, maar als de situatie verandert, faalt hij.
• Optie B: De "Strenge Rekenaar" (Symbolische Systemen)
  Stel je nu een robot voor die alleen maar exacte regels volgt. Hij is perfect in wiskunde, maar hij ziet de kleuren en vormen op het rooster niet. Hij kan niet zeggen: "Oh, dat is een rode cirkel." Hij ziet alleen maar getallen. Hij is als een chef-kok die alleen recepten kan lezen, maar niet kan zien of de groenten vers zijn.

2. De Oplossing: Een Perfect Team

De auteurs van deze paper zeggen: "Laten we deze twee samenwerken!" Ze bouwen een systeem dat werkt als een detective-team.

Het proces verloopt in vier stappen, die we kunnen vergelijken met het oplossen van een mysterie:

Stap 1: De Foto maken (Perceptie)

Eerst kijkt het systeem naar de puzzel (het rooster met blokjes). In plaats van alleen naar de pixels te kijken, maakt het een schets.

• Vergelijking: Het is alsof je een tekening maakt van de puzzel en zegt: "Hier is een rode vierkante doos, hier is een blauwe lijn, en hier is een gat in het midden."
• Het systeem haalt de "objecten" uit de chaos. Het weet nu niet alleen dat er een rood blokje is, maar dat het een rood vierkant is met een gat.

Stap 2: De Hypothesen (De Creatieve Ideeën)

Nu komt de "Grote Leraar" (het neurale deel) in beeld, maar met een belangrijke beperking.

• Vergelijking: Stel je voor dat je een detective bent die een lijst met mogelijke daders heeft. Je mag niet willekeurig iemand uit de stad kiezen. Je mag alleen kiezen uit een lijst van 22 bekende "daderprofielen" (zoals: "Iemand die alles rood maakt", "Iemand die dingen laat vallen", of "Iemand die spiegelt").
• Het systeem gebruikt de AI om te raden welke van deze 22 regels waarschijnlijk de oplossing is. Het is creatief, maar binnen een kooi van logische regels.

Stap 3: De Controle (Consistentie)

Dit is het slimste deel. Het systeem kijkt naar alle voorbeelden in de puzzel.

• Vergelijking: Stel je voor dat je drie getuigen hebt. Als Getuige 1 zegt: "De dader droeg een rode hoed", en Getuige 2 zegt: "De dader droeg een blauwe hoed", dan is er iets mis.
• Het systeem zoekt naar een regel die voor alle voorbeelden tegelijk werkt. Als een idee alleen maar voor één voorbeeld werkt, wordt het weggegooid. Alleen de regels die voor iedereen kloppen, blijven over. Dit voorkomt dat de computer "raadt" en zorgt dat het echt de logica snapt.

Stap 4: De Oplossing (Het Antwoord)

Als er een regel overblijft die voor alle voorbeelden werkt, past het die regel toe op de laatste, onbekende puzzel.

• Vergelijking: De detective zegt: "Oké, we weten dat de dader altijd rode hoeden gebruikt. Dus op de laatste foto, waar we de dader nog niet zien, plaatsen we een rode hoed."

Waarom werkt dit beter?

De paper laat zien dat dit systeem veel beter presteert dan alleen maar een grote AI (zoals GPT of Grok) die probeert te raden.

• Minder gissen: Door de regels te beperken tot die 22 logische patronen, hoeft de computer niet miljarden mogelijkheden te proberen.
• Betrouwbaarder: Omdat het systeem controleert of de regel voor alle voorbeelden werkt, maakt het minder fouten bij nieuwe situaties.
• Resultaat: Op de test (ARC-AGI-2) verbeterde hun systeem de score van een standaard AI van 16% naar 24,4%. Als ze hun systeem combineerden met een andere slimme AI, haalden ze zelfs 30,8%. Dat klinkt misschien niet als veel, maar voor dit soort moeilijke logica-puzzels is dat een enorme sprong.

De Kernboodschap

De belangrijkste les uit deze paper is: Grote modellen alleen zijn niet genoeg.

Om echt slim te zijn (zoals een mens), moet een computer niet alleen "gevoel" hebben (zoals een AI die veel tekst heeft gelezen), maar ook een strakke structuur hebben (zoals een rekenmachine). Je moet de waarneming (wat zie ik?) scheiden van de redenering (wat zijn de regels?).

Het is alsof je een auto bouwt: je hebt een sterke motor nodig (de AI), maar je hebt ook een stuur en een rem (de symbolische regels) nodig om er zeker van te zijn dat je niet tegen een boom rijdt. Door deze twee te combineren, krijgen we computers die niet alleen goed kunnen praten, maar ook echt kunnen denken.

Technische samenvatting

Titel: Compositional Neuro-Symbolic Reasoning

Auteurs: Anugyan Das, Omkar Ghugarkar, Vishvesh Bhat, Asad Aali (CoreThink AI & Stanford University)
Doel: Verbetering van redeneervermogen en generalisatie op de ARC-AGI-2 benchmark.

---

1. Het Probleem

De Abstraction and Reasoning Corpus (ARC) en zijn nieuwere variant ARC-AGI-2 zijn benchmarks ontworpen om "vloeibaar intelligentie" te meten: het vermogen om abstracte transformatieregels af te leiden uit slechts een paar voorbeelden en deze toe te passen op nieuwe, onbekende inputs.

• Beperkingen van bestaande systemen:
  • Pure neurale netwerken (LLMs): Deze modellen ontberen betrouwbare combinatorische generalisatie. Ze verwarren waarneming (perceptie) met regelinductie, wat leidt tot kwetsbare extrapolaties bij nieuwe composities.
  • Strikte symbolische systemen: Deze kampen met perceptuele gronding (het vertalen van ruwe pixels naar objecten) en lijden onder een combinatorische explosie bij het zoeken naar oplossingen in hoge-resolutie roosters.
  • Test-time schaling: Bestaande LLM-oplossers vertrouwen op massale steekproeven en probabilistische aggregatie (zoals self-consistency), wat rekenkundig duur is en geen strikte consistentie over voorbeelden garandeert.

Het paper stelt dat geen van beide benaderingen (puur connectionistisch of puur symbolisch) op zichzelf voldoende is voor ARC-AGI-2.

---

2. Methodologie: Een Neuro-Symbolische Architectuur

De auteurs stellen een compositional neuro-symbolic framework voor dat de waarneming, het voorstellen van hypothesen en de verificatie strikt van elkaar scheidt. Het systeem werkt in vier fasen:

Fase 1: Gestructureerde Symbolische Scène-Abstractie

In plaats van te werken met ruwe pixelroosters, wordt de input omgezet in een gestructureerd symbolisch "scene graph".

• Objectdetectie: Achtergrondkleur wordt bepaald (meest voorkomende kleur). Niet-achtergrondpixels worden opgesplitst in objecten via 8-verbonden componenten.
• Feature Extractie: Voor elk object worden attributen berekend: bounding box, centroid, vormrepresentatie, kleurenhistogram en detectie van holtes (cavities).
• LLM-verrijking: Waar nodig worden LLM's ingezet om ambiguïteiten in vorm of holtes op te lossen, maar de basis is algoritmisch en deterministisch.

Fase 2: Neurale Gesteunde Hypothesegeneratie

Het systeem gebruikt een vaste Domain-Specific Language (DSL) bestaande uit 22 "Unit Patterns" (atomaire transformaties).

• DSL: Deze patronen omvatten operaties zoals "Horizontaal Vullen", "Verticaal Vullen", "Bruggen Tussen Objecten", "Symmetrie", en "Cavity Fill".
• Neurale Prior: Een neuraal model (geïmplementeerd via frontier LLMs) analyseert de verschillen tussen input- en output-scene graphs en stelt een beperkte set kandidaat-transformatieprogramma's voor binnen deze DSL. Het genereert geen pixels, maar rangschikt plausibele symbolische composities.

Fase 3: Cross-Example Consistentie Filtering

Dit is de kern van de generalisatie.

• Consensus: Kandidaatprogramma's worden symbolisch uitgevoerd op alle trainingsvoorbeelden.
• Filtering: Alleen die programma's die consistent zijn met alle voorbeelden (d.w.z. ze reproduceren de output voor elke trainingsinput exact) worden behouden.
• Selectie: Het systeem kiest het kortste programma (minimale complexiteit) dat overal werkt. Dit elimineert hypothesen die toevallig op één voorbeeld werken maar niet generaliseren.

Fase 4: Geleide Oplossing Generatie

Voor de testinput wordt een "hint" gegenereerd op basis van de geselecteerde patronen.

• Een LLM (of een regelgebaseerde executor) gebruikt deze hint om de uiteindelijke output te genereren.
• Self-Consistency: Er worden meerdere steekproeven genomen en de cellen worden geaggregeerd via meerderheidsstemming om de uiteindelijke voorspelling te vormen.
• Meta-Classifier: Een ensemble methode combineert de output van dit neuro-symbolische systeem met een andere solver (ARC Lang Solver) om de beste oplossing te selecteren.

---

3. Belangrijkste Bijdragen

1. Scheiding van Perceptie en Redenering: Het paper demonstreert dat het expliciet scheiden van objectabstractie (waarneming) en regelinductie (redenering) leidt tot robuustere generalisatie.
2. Beperkte DSL met Neurale Prior: In plaats van een brute-force zoektocht door een oneindige ruimte, gebruikt het systeem een beperkte set van 22 menselijk geïnspireerde patronen, waarbij neurale modellen de zoekruimte sturen.
3. Cross-Example Consistentie: Het toepassen van strikte symbolische consistentie over alle trainingsvoorbeelden voorkomt overfitting en dwingt het systeem naar een universele regel.
4. Geen Finetuning: Het systeem bereikt zijn resultaten zonder taak-specifiek finetunen of reinforcement learning, puur door architecturale priors en test-time reasoning.

---

4. Resultaten

De prestaties zijn gemeten op de ARC-AGI-2 public evaluation set met de pass@2 metric (een taak is opgelost als minstens één van de twee ingediende antwoorden correct is).

• Compositional Reasoner (Alleen): Bereikt 24,4%. Dit is een aanzienlijke verbetering ten opzichte van pure LLM-baselines (die variëren van ~5% tot ~18%).
• Meta-Classifier Ensemble: Wanneer het neuro-symbolische systeem wordt gecombineerd met de "ARC Lang Solver" via een meta-classifier, stijgt de score naar 30,8%.
• Vergelijking: Dit plaatst het systeem boven de meeste geavanceerde LLM's (zoals GPT-5-Pro, o3, Claude Opus) en in de buurt van de beste hybride systemen.
• Ablatie Studies:
  • Het verwijderen van de symbolische hints (en alleen LLM gebruiken) laat de score zakken naar 17,5%.
  • Het verwijderen van self-consistency laat de score zakken naar 20,5%.
  • Dit toont aan dat de symbolische abstractie de grootste bijdrage levert aan de generalisatie, terwijl self-consistency de robuustheid verhoogt.

---

5. Betekenis en Conclusie

Het paper biedt een krachtig bewijs dat schaalvergroting (grootere modellen, meer context) op zichzelf niet leidt tot systematische abstractie of menselijke intelligentie.

• Architecturale Priors: De resultaten suggereren dat vooruitgang op het gebied van vloeibaar intelligentie vereist dat systemen architecturale priors hebben die expliciet compositional structure coderen.
• Efficiëntie: Door de zoekruimte te beperken via een DSL en consistentie te forceren, reduceert het systeem de afhankelijkheid van brute-force zoektochten en dure steekproeven.
• Toekomst: Hoewel de prestaties sterk zijn, blijft er een kloof met menselijke prestaties (100%). De auteurs wijzen erop dat uitbreiding van de DSL en betere mechanismen voor globale consistentie nodig zijn om complexe, meervoudige relationele redeneringen volledig te kunnen hanteren.

De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling van neuro-symbolische benaderingen voor visueel redeneren stimuleert.