Theory Under Construction: Orchestrating Language Models for Research Software Where the Specification Evolves

1. Probleemstelling: De Co-evolutie Uitdaging

Het artikel adresseert een kritieke kloof in de geautomatiseerde ontwikkeling van onderzoekssoftware: het co-evolutieprobleem. In tegenstelling tot standaard software-engineeringtaken waar de specificatie vaststaat, omvat onderzoekssoftware een specificatie die in aanbouw is. De wiskundige proefschrift, uitvoerbare code, benchmarkoppervlakken en publieke claims moeten samen rijpen.

Huidige Large Language Model (LM) agenten falen in dit regime door twee specifieke faalmodi:

1. Hallucinatie-accumulatie: Onondersteunde beweringen of gefabriceerde data die in één stap worden geïntroduceerd (bijvoorbeeld in een concept van een paper), worden in daaropvolgende stappen behandeld als grondwaarheid, waardoor fouten door de ontwikkelingslus worden voortgeplant.
2. Desynchronisatie: De code, theorie of het interne wereldmodel van de LM raakt uit elkaar. Bijvoorbeeld, code kan geoptimaliseerd zijn voor een verouderde specificatie, of de interne representatie van de repository van de LM wordt verouderd naarmate bestanden zich ophopen, wat leidt tot globale incoherentie zelfs als er paarwijze consistentie bestaat.

Bestaande frameworks (bijvoorbeeld SWE-agent, AI Scientist) gaan uit van vaste taken of vaste evaluatieframes, waardoor ze ongeschikt zijn voor onderzoek waar het doel zelf evolueert.

2. Methodologie: Comet-H

De auteurs stellen Comet-H voor, een iteratief prompt-automaton ontworpen om de gekoppelde evolutie van theorie, code, bewijs en claims te orchestreren.

Kernarchitectuur

Comet-H opereert als een Co-evolutie Toestandsmachine die een werkruimte $W$ beheert bestaande uit zes componenten:

• $T$ (Theorie): De veranderlijke wiskundige proefschrift.
• $R$ (Repository): De code-implementatie.
• $P$ (Publieke Projectie): Het paper en de README.
• $E$ (Bewijs): Benchmarks en grondleggende registers.
• $U$ (Utility Hypothesis): Het "waarom" van de software.
• $Q$ (Open Verplichtingen): Een wachtrij van niet-geverifieerde claims of aanstaande taken.

Belangrijke Mechanismen

1. Reactieve Grondleggende Triggers:

   • Elke wijziging aan publieke artefacten ($P$: paper/README) triggert onmiddellijk een Grondleggingcreatie gevolgd door een Sceptische Audit.
   • Dit dwingt het systeem om claims te verifiëren tegen uitvoerbare code en benchmarks voordat ze kunnen voortplanten, waardoor hallucinatie-voortplanting wordt begrensd tot één stap.

2. Adjacentie-beperkingen:

   • De controller verhindert dat het systeem willekeurig afdrijft. Elke uitbreiding of pivot moet "adjacent" zijn aan de huidige staat (bereikbaar in één conceptuele stap) en moet bestaande benchmarks of theorie versterken. Dit verhindert dat het model springt naar niet-gerelateerde problemen die geen evaluatie-oppervlakken hebben.

3. Prompt-selectie als een Contextueel Bandiet:

   • De controller selecteert de volgende prompt uit een vast alfabet van 17 prompt-families (bijvoorbeeld Ideation, Seed Generation, Paper Strengthening, Skeptical Audit).
   • Scoren: Een transparante, handmatig ingestelde lineaire scorer berekent een score op basis van een feature-vector van werkruimte-tekorten (bijvoorbeeld "lage testdekking", "niet-geverifieerde claims").
   • Verval van Verplichtingen: Onvoltooide vervolgtaken worden opgeslagen in een verplichtingen-vector $o_t$ die exponentieel verval (halfwaardetijd van 8 stappen). Dit zorgt ervoor dat de controller zich richt op recente, hoog-prioritaire schulden zonder overweldigd te worden door verouderde geschiedenis, wat niet-stationaire bandiet-strategieën nabootst.

4. Ontwikkelingslussen-fasen:

   • Seed: Selecteert een gedifferentieerde onderzoeksvraag en een formeel kernpunt.
   • Reactieve Iteratie: Genereert code/papers en verhardt ze vervolgens iteratief op basis van het zwakste oppervlak (bijvoorbeeld, als benchmarks zwak zijn, voert het Benchmark Tightening uit).
   • Tail: Een vaste reeks audit- en polijststappen om ervoor te zorgen dat de uiteindelijke output gegrond is, ongeacht het resterende budget.

3. Belangrijkste Bijdragen

1. Definitie van Co-evolutie Faalmodi: Het artikel identificeert formeel hallucinatie-accumulatie en desynchronisatie als de primaire oorzaken van falen in geautomatiseerd onderzoek, onderscheiden van standaard coderingsfouten.
2. Co-evolutie Toestandsmachine: Een formeel kader (Definitie 4.1) dat theorie behandelt als een veranderlijke toestandvariabele en cross-artefact synchronisatie afdwingt via een eindige besturingsmodus en vervalende verplichtingengeheugen.
3. Transparante Orkestratie: Een nieuw controllerontwerp dat een lineaire, handmatig ingestelde scorer koppelt aan een vervagend record van onvoltooide werkzaamheden. Dit vermijdt geleerde beleidslijnen (black boxes) ten gunste van controleerbare, interpreteerbare besluitvorming.
4. Empirisch Portfolio: De creatie van 46 onderzoekssoftware-repository's verspreid over 12+ domeinen, wat de schaalbaarheid van de aanpak demonstreert.

4. Resultaten en Casestudie (a3)

De auteurs bieden een diepgaande duik in a3, een Python static-analysis tool die volledig binnen de Comet-H-lus is ontwikkeld.

• Prestaties: Op een benchmark van 90 gevallen behaalde a3 een F1-score van 0,768, wat significant beter is dan de volgende beste baseline van 0,364.
• Monotone Winsten: Ablatiestudies toonden aan dat elke toegevoegde laag van theorie/praktijk-koppeling (bijvoorbeeld interprocedurale analyse, dynamische symbolische uitvoering) de prestaties verbeterde zonder degradatie.
• Theorie-evolutie: Het systeem herzette zijn onderliggende theorie succesvol twee keer tijdens de ontwikkeling (schuiven van een "afstand-tot-grens" framing naar "veiligheidscertificaten" en integratie van SMT-oplossers) zonder de codebase te breken, wat het vermogen van de controller demonstreert om specificatie-pivots te hanteren.
• Gedragsobservaties:
  • Audit-dominantie: In de latere fasen van ontwikkeling waren de meerderheid van de commits gericht op grondlegging, audit en het repareren van claims in plaats van het toevoegen van functies.
  • Zichtbaar Falen: Het systeem leerde openlijk beperkingen te rapporteren (bijvoorbeeld "UNKNOWN" uitspraken voor recursieve gevallen) in plaats van ze te verbergen, een gedrag gedreven door de Sceptische Audit prompt.
  • Zelf-organisatie: Over lange horizonnen reorganiseerde de LM code van nature naar meer compositieve structuren (bijvoorbeeld conversie naar submodules) zonder expliciete prompting.

5. Betekenis

Dit artikel verschuift het paradigma van AI-onderzoeksagenten van taakvoltooiing (een vast probleem oplossen) naar toestandbeheer (de integriteit van een co-evoluerend systeem behouden).

• Bestuur boven Generatie: Het betoogt dat het moeilijkste deel van onderzoeksautomatisatie niet het genereren van code is, maar het waarborgen dat de wiskundige proefschrift, de code en de claims gesynchroniseerd blijven.
• Nieuwe Evaluatiemetrics: Het suggereert dat toekomstige evaluaties van onderzoeksagenten stabiliteit, herstelbaarheid van afdrijving en latentie van integriteitsreparatie moeten meten, in plaats van alleen uiteindelijke benchmark-scores.
• Praktische Impact: Door te bewijzen dat LM's het volledige levenscyclus van onderzoekssoftware kunnen beheren – inclusief theorieherziening en rigoureuze audit – biedt Comet-H een blauwdruk voor het bouwen van betrouwbare, autonome systemen voor wetenschappelijke ontdekking.

Kortom, Comet-H demonstreert dat door onderzoek te behandelen als een co-evolutieproces met expliciete mechanismen voor grondlegging, audit en begrenste afdrijving, LM's succesvol kunnen navigeren door het complexe, niet-lineaire pad van het creëren van nieuwe onderzoekssoftware.