Technische Samenvatting: Prospectieve compressie bij het leren van menselijke abstracties

Probleemstelling

Het artikel behandelt een kernuitdaging in programmasynthese en cognitieve modellering: online bibliotheekleren. Dit is de incrementele verwerving van herbruikbare abstracties (hulpfuncties) onder onzekerheid over toekomstige taakeisen. Bestaande computationele benaderingen, zoals DreamCoder en Stitch, behandelen bibliotheekleren als retrospectieve compressie. Deze algoritmen ontdekken iteratief een bibliotheek van subprogramma's die een statisch corpus van eerdere taken maximaal comprimeert.

De auteurs betogen echter dat leerdomeinen in de echte wereld vaak niet-stationair zijn, waarbij taken voortkomen uit een generatief proces dat in de loop van de tijd evolueert. In dergelijke situaties moet een leerder beslissen welke abstracties te vormen op basis van tot nu toe geziene taken, zonder kennis van de volledige taakverdeling. De centrale vraag is of menselijk bibliotheekleren wordt gedreven door het comprimeren van eerdere data (retrospectief) of door het anticiperen op en comprimeren van toekomstige taken (prospectief).

Methodologie

De Pattern Builder Task (PBT)

Om dit te onderzoeken, maken de auteurs gebruik van de Pattern Builder Task, een paradigma voor visuele programmasynthese.

• Domein: Deelnemers reconstrueren $10 \times 10$ binaire geometrische patronen.
• Mechanisme: Oplossingen worden uitgedrukt als programma's samengesteld uit een vaste Domein-specifieke taal (DSL) met 6 geometrische primitieven en 7 transformatie-operatoren (3 binair, 4 unair).
• Bibliotheekleren: Deelnemers kunnen elke tussenliggende constructie opslaan als een "helper". Deze helpers blijven behouden over proeven heen en fungeren als nieuwe primitieven, waardoor de incrementele opbouw van een herbruikbare bibliotheek mogelijk is.

Experimenteel Ontwerp

De auteurs ontwierpen twee experimenten met complementaire latente curricula om retrospectieve en prospectieve compressiestrategieën van elkaar te onderscheiden:

1. Experiment 1 (Sequentieel Curriculum): Taken volgen een autoregressieve structuur waarbij elk doel een transformatie is van een voorgaande oplossing. Deze structuur is oplosbaar via retrospectieve compressie, omdat eerdere oplossingen toekomstige oplossingen direct informeren.
2. Experiment 2 (Operator-groep Curriculum): Taken zijn georganiseerd in groepen van vier. Binnen een groep delen alle doelen een gemeenschappelijk latent subprogramma (helper) dat wordt gecombineerd met een vaste set van vier verschillende operatoren. Cruciaal hebben opeenvolgende proeven binnen een groep een lage oppervlakkige gelijkenis, waardoor het moeilijk is om de gedeelde structuur af te leiden uit de directe eerdere taken alleen. Dit ontwerp vereist prospectieve compressie – het afleiden van het latente generatieve proces om de gedeelde helper voor de hele groep te anticiperen.

Computationele Modellen

De auteurs evalueerden menselijk gedrag tegenover een familie van computationele modellen:

1. Basislijn (Geen Bibliotheek): Uitputtende bottom-up zoekopdracht zonder abstractie.
2. Retrospectieve Compressiemodellen:
   • RC (Retrospectieve Compressie): Selecteert helpers op een gretige manier om de compressie-utility over het corpus van eerdere taken te maximaliseren (vergelijkbaar met DreamCoder).
   • GL (Gretig Bibliotheekleren): Selecteert alleen het terminale programma van de huidige proef.
   • PL (Probabilistisch Bibliotheekleren): Selecteert stochastisch subprogramma's uit de afleidingstrace.
3. Inductieve Bias-modellen (LLM-gebaseerd):
   • LLM-PS: Gebruikt een Large Language Model (GPT-5.2) voor synthese op basis van de huidige taak en primitieven, wat structurele priors vastlegt zonder geschiedenis.
   • LLM-PS-H: Bevat de volledige geschiedenis van eerdere taken en oplossingen in de prompt.
4. Prospectieve Compressie (Normatief): Een theoretisch model dat helpers selecteert om de verwachte compressie-utility over het hele oplossingscorpus (verleden en toekomst) te maximaliseren, geconditioneerd op de waargenomen taakverdeling.

Metrieken

Prestaties werden gemeten aan de hand van:

• Stapentelling: Efficiëntie van de oplossingconstructie.
• Bibliotheekgrootte: Aantal aangemaakte helpers.
• Corpus Compressie-utility: De primaire metriek, die evalueert hoe goed een geselecteerde set van $k$ helpers het volledige (gehouden) programmacorpus comprimeert, inclusief toekomstige taken.

Belangrijkste Resultaten

1. Menselijke Efficiëntie en Bibliotheekgebruik: Deelnemers slaagden erin de taken succesvol te voltooien en creëerden consequent helper-bibliotheken. Het gebruik van helpers verminderde het aantal benodigde stappen aanzienlijk in vergelijking met ruwe primitieve oplossingen, waarbij de oplossing diepte begrensd bleef zelfs naarmate de ruwe programmalengte groeide.
2. Retrospectieve Modellen in Experiment 1: In het sequentiële curriculum werd menselijk gedrag goed benaderd door het Retrospectieve Compressie (RC) model. Zowel mensen als RC selecteerden helpers die de waargenomen eerdere taken effectief comprimeerden.
3. Prospectief Gedrag in Experiment 2: In het operator-groep curriculum faalden retrospectieve modellen (RC, GL, PL) en inductieve bias-modellen (LLM-PS, LLM-PS-H) om de optimale gedeelde helpers te selecteren.
   • RC selecteerde helpers die eerdere taken comprimeerden, maar misten de latente structuur die over de groep heen gedeeld werd.
   • LLM-modellen selecteerden geometrisch plausibele helpers op basis van inductieve biases, maar slaagden er niet in het specifieke gedeelde subprogramma te vangen dat voor de groep vereist was.
   • Menselijke Prestaties: Door mensen geselecteerde helpers bereikten consequent een hogere corpus compressie-utility dan alle computationele modellen in Experiment 2. Menselijk gedrag volgde nauwkeurig de "Oracle" (de optimale set helpers die achteraf bekend is), wat aangeeft dat mensen succesvol de latente generatieve structuur afleidden en abstracties selecteerden die nuttig zouden zijn voor toekomstige taken.
4. Onvoldoende Bestaande Verklaringen: De resultaten tonen aan dat menselijke abstractieselectie niet uitsluitend kan worden verklaard door retrospectieve compressie of inductieve biases gemodelleerd door huidige LLM-gebaseerde synthese.

Belangrijkste Bijdragen

1. Experimenteel Paradigma: De introductie van een gecontroleerd paradigma (PBT) met latente curricula die specifiek zijn ontworpen om prospectieve van retrospectieve compressiestrategieën te onderscheiden.
2. Computationele Evaluatie: Een systematische evaluatie van een familie van modellen (retrospectieve compressie, inductieve bias en probabilistische strategieën) tegen menselijk gedrag in niet-stationaire situaties.
3. Empirisch Bewijs voor Prospectieve Compressie: De eerste demonstratie dat menselijk online abstractieleren wordt gedreven door prospectieve compressie van het taakgenererende proces. Mensen leiden latente structuren af om abstracties te selecteren die overdragen naar toekomstige taken, een vermogen dat niet wordt vastgelegd door bestaande retrospectieve algoritmen of huidige LLM-gebaseerde programmasynthese.

Betekenis en Claims

Het artikel claimt dat menselijk abstractieleren beter wordt gekarakteriseerd als prospectieve compressie dan als louter retrospectieve compressie of statische inductieve bias.

• Voor Programmasynthese: De auteurs betogen dat bibliotheekleren-algoritmen voorbij moeten gaan aan het optimaliseren voor compressie van eerdere data. Om met niet-stationaire domeinen om te gaan, moeten algoritmen expliciet de niet-stationaire taakverdeling modelleren en toekomstige afhankelijkheden anticiperen.
• Voor Cognitiewetenschap: De bevindingen ondersteunen het idee dat abstractieleren nauw gekoppeld is aan anticiperende structuurmodellering. Leerders comprimeren niet alleen ervaring; ze leiden af hoe taakstructuren in de loop van de tijd evolueren om hiërarchische voorspelling en sequentie-leren te faciliteren.
• Benchmarking: De Pattern Builder Task wordt voorgesteld als een kandidaat-benchmark voor het evalueren van prospectieve abstractie, met onderscheid tussen algoritmen die enkel individuele taken oplossen en die welke structuur kunnen afleiden en hergebruiken over een tijdelijk evoluerende taakverdeling.

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat hun studie beperkt blijft tot een beperkt visueel domein en dat toekomstig werk nodig is om de waarschijnlijkheidsverdeling van toekomstige taken formeel te modelleren en gezamenlijke inferentie uit te voeren over zowel de bibliotheek als het latente taakgenererende proces.