Technische Samenvatting: Project Auto-World

Probleemstelling

Modellen voor neuraal relationeel redeneren, zoals Edge Transformers (ET's), hebben moeite met systematische generalisatie. Hoewel ze regulariteiten kunnen leren uit trainingsdata, falen ze vaak bij het toepassen van deze regels op probleeminstanties die systematisch moeilijker zijn dan die tijdens de training (bijv. vereisten voor meer inferentiestappen, off-path redeneren of complexe relationele combinaties).

Een cruciale bottleneck in de vooruitgang van dit veld is de evaluatie van generalisatie. Bestaande moeilijkheidsmetrieken (bijv. inferentiediepte, Off-Path Edge Count, Backtrack Load) zijn vaak onvoldoende of hebben "blinde vlekken". Bovs staat het genereren van probleeminstanties die werkelijk moeilijk zijn voor deze modellen een uitdaging; willekeurige sampling produceert zelden de specifieke structurele condities die nodig zijn om de beperkingen van modellen bloot te leggen. Het artikel stelt dat het niet a priori duidelijk is wat een specifieke instantie moeilijk maakt voor een bepaald neuraal model, wat een conundrum creëert waarbij standaard benchmarks de werkelijke beperkingen kunnen maskeren.

Methodologie

De auteurs stellen Project Auto-World voor, een framework dat Large Language Models (LLMs) gebruikt om uitdagende benchmark-instanties te automatiseren. Het kernidee is om het genereren van probleeminstanties te behandelen als een optimalisatieprobleem waarbij de "fitness" van een generator wordt gedefinieerd door zijn vermogen om een doel-redeneermodel te laten falen.

Het artikel onderzoekt drie verschillende strategieën voor het automatiseren van dit proces:

1. LLM-gestuurde evolutionaire zoektocht (gebaseerd op FunSearch):

   • Geadapteerd van het FunSearch-framework, gebruikt deze aanpak een LLM om prioriteitsfuncties (Python-code) te evolueren die de sampling van Knowledge Graphs (KGs) sturen.
   • Het proces is een evolutionaire loop: de LLM stelt verbeterde prioriteitsfuncties voor op basis van eerdere generaties.
   • Fitness Evaluatie: Een prioriteitsfunctie wordt gescoord door een set KGs te genereren, het doelmodel (Edge Transformer) te draaien op queries afgeleid van deze grafen, en de foutmarge (1 - nauwkeurigheid) te berekenen.
   • Het systeem onderhoudt meerdere "eilanden" van prioriteitsfuncties om exploratie te stimuleren, waarbij slecht presterende eilanden worden verwijderd en vervangen door nieuwe, gezaaide versies van hoogpresterende eilanden.

2. Auto-Research Agents:

   • Deze aanpak vervangt de populatiegebaseerde evolutionaire zoektocht door een enkele autonome coderingsagent (Claude Opus 4.6) die in een loop opereert.
   • De agent leest experimentele artefacten (metrieken, code, data) van de vorige ronde, stelt een modificatie voor aan de prioriteitsfunctie en voert de training/evaluatie-pipeline uit.
   • Het doel van de agent is om de evaluatie-nauwkeurigheid van de Edge Transformer te minimaliseren terwijl de code simpel blijft. Dit bootst een "auto-research" stijl na waarbij de agent iteratief zijn eigen experimentele opzet verfijnt.

3. Model-Agnostische LLM Prompting:

   • De auteurs hebben ook directe prompting van frontier LLM's getest om samplingstrategieën te genereren zonder een evolutionaire loop.
   • Door middel van dialoog werd de LLM geleid om specifieke samplers te creëren (bijv. hill-climbing voor diepe derivaties, backward chaining, motif-based constructie) en hybride strategieën ontworpen om Graph Neural Networks (GNNs) uit te dagen.

Het Doelmodel: De primaire evaluator die wordt gebruikt is de Edge Transformer (ET), een state-of-the-art neuraal relationeel redeneermodel dat in staat is tot complexe logische formules te vatten. De experimenten worden uitgevoerd op de NoRA benchmark (familierelaties die off-path redeneren vereisen) en een nieuw door LLM gegenereerd domein genaamd Iron Coast.

Belangrijkste Bijdragen

• Geautomatiseerde Benchmark Generatie: Heeft aangetoond dat LLM's autonoom samplingfuncties kunnen ontdekken die probleeminstanties genereren die aanzienlijk moeilijker zijn voor neurale redeneerders dan die gevonden via willekeurige sampling of bestaande heuristieken.
• Ontdekking van Nieuwe Moeilijkheidsdimensies: De geleerde samplers identificeerden vormen van moeilijkheid die niet volledig verklaard kunnen worden door standaard metrieken (diepte, OPEC, BL). Specifiek vonden de auteurs dat instanties die vertrouwen op geïnfereerde off-path edges (edges die niet op het directe pad tussen entiteiten liggen, maar wel noodzakelijk zijn voor de afleiding) bijzonder uitdagend zijn en vaak gemist werden door bestaande metrieken.
• Adversariële Training en Robuustheid: Het artikel laat zien dat het trainen van Edge Transformers op data gegenereerd door deze geleerde samplers een robuuster model creëert (SUPERET). Dit model weerstaat het evolutionaire zoekproces beter dan de standaard ET, hoewel het nog steeds kwetsbaar blijft voor de strategieën die ontdekt zijn door de autonome Auto-Research agent.
• Haalbaarheid van Autonoom Onderzoek: Het succes van de Auto-Research agent suggereert dat de volledige loop van het definiëren van regels, het genereren van data en het evalueren van modellen geautomatiseerd kan worden, wat de deur opent naar volledig autonoom onderzoek in neuraal relationeel redeneren.

Resultaten

• Cross-Evaluatie: Modellen getraind op data van evolutionaire runs of LLM-gegenereerde samplers presteerden slecht op testsets van andere strategieën, wat aangeeft dat elke methode unieke "harde" structuren ontdekt.
• Prestatiekloof: Terwijl standaard ET's een hoge nauwkeurigheid bereikten op in-distributie data, daalde hun prestatie aanzienlijk (vaak tot onder de 20% exact-match nauwkeurigheid) op queries gegenereerd door de geleerde samplers.
• Onverklaarde Moeilijkheid: Analyse met behulp van een classifier om modelsucces te voorspellen op basis van bekende metrieken (diepte, OPEC, BL) onthulde hoge "onverklaarde" moeilijkheidsscores voor queries van de Auto-Research en evolutionaire samplers. Dit bevestigt dat deze methoden nieuwe assen van moeilijkheid vinden.
• Geïnfereerde Off-Path Edges: De auteurs identificeerden dat een specifieke klasse van moeilijke queries bestaat uit edges die geïnfereerd zijn maar niet op het directe pad liggen. Het toevoegen van de telling van deze "Off-Path Entailed Edges" (OPEEC) als metriek verminderde de onverklaarde moeilijkheidsscore aanzienlijk, wat de ontdekking valideert.
• Model Robuustheid: De SUPERET (getraind op een mix van standaard en adversariële data) vertoonde sterke weerstand tegen het FunSearch evolutionaire proces, maar werd nog steeds uitgedaagd door de Auto-Research agent, wat suggereert dat de agent nog krachtigere strategieën heeft gevonden.

Betekenis en Claims

Het artikel claimt dat de voorgestelde machinerie zorgt voor de systematische stress-testen van neurale relationele redeneerders. Door de ontdekking van moeilijke instanties te automatiseren, kunnen onderzoekers verder gaan dan statische benchmarks die blinde vlekken kunnen hebben.

• Zelfverbeterende Samplers: Het werk demonstreert dat samplers geleerd kunnen worden om progressief moeilijkere instanties te produceren, wat effectief een adversariële curriculum creëert.
• Voorbij Handmatige Metrieken: De resultaten suggereren dat door mensen gedefinieerde moeilijkheidsmetrieken onvoldoende zijn; LLM-gestuurde zoektochten kunnen structurele eigenschappen van redeneerproblemen ontdekken die mensen niet expliciet hebben gecodificeerd.
• Potentieel voor Autonoom Onderzoek: Het succes van de Auto-Research agent in het uitdagen van zelfs het robuuste SUPERET-model geeft aan dat LLM's als autonome onderzoekers kunnen fungeren, in staat om te itereren op experimentele ontwerpen om de grenzen van huidige modellen te verleggen.

De auteurs blijven bescheiden en merken op dat het huidige werk zich richt op Datalog-regels en specifieke logische fragmenten, en dat de overdraagbaarheid van geleerde prioriteitsfuncties naar geheel andere regelsets een openstaande vraag blijft. Echter, de mogelijkheid om door LLM gedefinieerde werelden (zoals Iron Coast) te genereren, suggereert een pad naar volledig geautomatiseerde evaluatie-loops voor neuraal redeneren.