Technische Samenvatting: Bongards op de grens van perceptie en redeneren: Programma's of Taal?

Probleemdefinitie

Het artikel behandelt de uitdaging van het oplossen van Bongard-problemen (BPs), een klassieke set van 100 weinig bekende visuele redeneerpuzzels geïntroduceerd in 1970. Elk probleem bestaat uit 12 afbeeldingen: zes die een "positief" concept vertegenwoordigen en zes die een "negatief" concept vertegenwoordigen. In tegen tegenstelling tot taken zoals Raven's Progressive Matrices, die steunen op vaste logische sequenties, vereisen BPs dat de oplosser ter plekke nieuwe visuele kenmerken waarneemt en vloeiend nieuwe perceptuele primitieven definieert om de twee categorieën te onderscheiden. De kern van de moeilijkheid ligt op de grens tussen perceptie (het identificeren van kenmerken zoals "nek", "holte" of "circulariteit") en redeneren (het formuleren van een regel die de klassen scheidt). Hoewel Vision-Language Models (VLMs) uitblinken in alledaagse visuele taken, worstelen ze met de radicale generalisatie die vereist is voor BPs, waarbij ze vaak falen in het synthetiseren van de precieze geometrische of conceptuele regels die nodig zijn voor een oplossing.

Methodologie

De auteurs stellen een neurosymbolische benadering voor die het hoogwaardige conceptuele redeneren van Large Language Models (LLMs) combineert met de precisie van programmatische executie. Het systeem werkt via twee primaire taken: Verificatie (het classificeren van een niet-getrainde afbeelding gegeven een grondwaarheidsregel) en Oplossing (het genereren van de regel vanaf nul).

Systeemarchitectuur

Het systeem bestaat uit twee hoofdcomponenten: een Hypothesegenerator en een Verifier.

1. Hypothesegenerator:

   • Maakt gebruik van een VLM om kandidaat-regels in natuurlijke taal te genereren.
   • Om diversiteit en relevantie te verbeteren, gebruikt de generator Retrieval-Augmented Generation (RAG). Het samplet regels op basis van contextuele voorbeelden uit eerdere Bongard-problemen (gebruikmakend van het natuurlijke curriculum van de dataset) en willekeurige problemen.
   • Voor de Oplossing-taak genereert de generator meerdere kandidaat-regels; voor de Verificatie-taak neemt het de grondwaarheidsregel als input.

2. Verifier:

   • De verifier evalueert kandidaat-regels via een hybride strategie die afwisselend tussen Programma-inductie en Transductie (Chain-of-Thought) schakelt.
   • Programma-inductie: Voor een gegeven regel probeert de VLM een geparametriseerd Python-programma te synthetiseren (specifiek een classify_image methode) dat de regel implementeert.
     • Geparametriseerde programma's: In het besef dat exacte numerieke drempelwaarden (bijv. het definiëren van "langwerpig" versus "compact") moeilijk voor LLM's te raden zijn, behandelt het systeem bepaalde waarden als parameters.
     • Bayesiaanse Optimalisatie: Het systeem voert 15 stappen van Bayesiaanse optimalisatie uit om de parameterwaarden te vinden die de nauwkeurigheid van het programma op de trainingsvoorbeelden maximaliseren.
     • Scoring: Een programma wordt geaccepteerd als het een score $\ge 0.9$ behaalt op de trainingsset. Als meerdere programma's slagen, bepaalt de meerderheidslabel op de testafbeelding de output.
   • Transductie (CoT): Als geen enkel programma de vereiste score behaalt, valt de verifier terug op een Chain-of-Thought benadering, waarbij de VLM wordt gepromptt om de testafbeelding direct te classificeren op basis van de trainingsvoorbeelden en de voorgestelde regel.

Experimentele Opzet

• Modellen: De studie evalueert GPT-4o en Claude 3.7 Sonnet.
• Taken:
  • Verificatie: Het classificeren van afbeeldingen gegeven de grondwaarheidsregel.
  • Oplossing: Het genereren van de correcte natuurlijke taalregel voor de gehele probleemset.
  • Inversie: Een controletaak waarbij positieve en negatieve voorbeelden zijn omgewisseld om te testen op memorisatie.
• Baselines: Prestaties worden vergeleken met basis VLMs (zonder programma-synthese) en eerdere menselijke prestatiegegevens (Wüst et al., 2025).

Belangrijkste Bijdragen

1. Evaluatie van State-of-the-Art VLMs: Het artikel biedt een rigoureuze benchmark van GPT-4o en Claude 3.7 op Bongard-problemen, waarbij onderscheid wordt gemaakt tussen hun vermogen om regels te verifiëren en ze vanaf nul te genereren.
2. Hybride Neurosymbolisch Model: De auteurs introduceren een nieuw model dat geparametriseerde programma's synthetiseert naast redeneren in natuurlijke taal. Deze aanpak maakt gebruik van het vermogen van de VLM om hoogwaardige concepten te genereren en het vermogen van het programma om exacte geometrische berekeningen en parameterfitting uit te voeren.
3. Mens-Model Vergelijking: De studie analyseert menselijke data om de sterktes en zwaktes van VLMs en het voorgestelde hybride model te vergelijken met menselijk gedrag, waarbij specifieke categorieën worden geïdentificeerd waarin modellen slagen of falen ten opzichte van mensen.

Resultaten

• Verificatieprestaties:
  • Claude 3.7 vertoonde sterke prestaties en behaalde een nauwkeurigheid van 86,5% door programmatische verificatie en CoT-redenering te combineren.
  • De hybride aanpak ("+ beide") presteerde beter dan het gebruik van alleen programma's of alleen CoT, met name in de Ruimtelijke en Conceptuele categorieën. Programmatische verificatie blonk uit bij ruimtelijke en op gelijkenis gebaseerde problemen, terwijl CoT superieur was voor hoogwaardige conceptuele en getalgebaseerde problemen.
  • GPT-4o vertoonde een grotere kloof tussen programmatische en CoT-prestaties, waarbij CoT over het algemeen beter presteerde dan programmasynthese, wat suggereert dat de effectiviteit van de hybride aanpak afhangt van de onderliggende code-generatiecapaciteiten van het model.
• Oplossingsprestaties:
  • Het volledige systeem dat Claude 3.7 gebruikt als de hypothesegenerator loste 51 van de 100 problemen op.
  • Dit resultaat overtreft de gemiddelde menselijke prestatie gerapporteerd door Wüst et al. (2025), die ongeveer 47 correcte oplossingen bedroeg.
  • GPT-4o loste 31 problemen op met de hybride methode, een verbetering ten opzichte van de baseline maar nog steeds onder het menselijke gemiddelde.
• Memorizatie Check: De "Inversie"-taak toonde aan dat het omdraaien van positieve en negatieve labels weinig impact had op de modelprestaties, wat suggereert dat de modellen niet simpelweg specifieke probleemoplossingen memoriseren, maar daadwerkelijk aan het redeneren zijn.

Betekenis en Claims

Het artikel claimt dat het combineren van natuurlijke taal en formele programma's AI-systemen in staat stelt om nauwkeuriger te redeneren over visuele concepten dan welk medium dan ook alleen. Door concepten in taal te genereren en deze in code te implementeren, overbrugt het systeem de kloof tussen "perceptie" (het identificeren van kenmerken) en "redeneren" (het toepassen van logica) die vereist is voor Bongard-problemen.

De auteurs stellen dat hun systeem, naar zij weten voor het eerst, de gemiddelde menselijke nauwkeurigheid op de Bongard-problemen heeft overtroffen. Ze kaderen dit niet als een definitieve oplossing voor algemene visuele redenering, maar als een stap naar AI-systemen die "nieuwe perceptuele concepten op menselijke wijze kunnen verwerven en gebruiken." Het werk benadrukt dat hoewel VLMs over een enorme pre-training kennis beschikken, ze de precisie van programmatische executie nodig hebben om de geometrische en parametrische nuances van abstracte visuele puzzels aan te kunnen. De studie concludeert dat de complementaire aard van inductie (programmasynthese) en transductie (CoT) essentieel is voor het aanpakken van moeilijke conceptleer-taken op de grens van perceptie en redeneren.