Technische Samenvatting: Het Articuleren van Aannames in AI-gegenereerde Wetenschappelijke Analyses door Taakdecompositie

Probleemstelling

De integratie van Large Language Models (LLM's) in wetenschappelijke computing biedt het potentieel om de generatie van uitvoerbare analysecode te automatiseren op basis van natuurlijke taal specificaties. Deze capaciteit introduceert echter aanzienlijke risico's met betrekking tot de begrijpelijkheid en reproduceerbaarheid van wetenschappelijke resultaten. Er bestaan twee primaire bronnen van onzekerheid:

1. Specificatie-ambiguïteit: Verzoeken in natuurlijke taal missen vaak de strikte procedurele definities die vereist zijn voor computationele taken, waardoor kritieke aspecten (bijv. selectiecriteria voor objecten, aggregatie-eenheden, afleidingsregels) openstaan voor interpretatie.
2. Stochastische Variabiliteit: LLM's kunnen verschillende, incomplete of semantisch incorrecte code produceren voor identieke prompts.

Consequentelijk kan gegenereerde code, zelfs als deze zonder fouten wordt uitgevoerd, mogelijk niet de beoogde fysica van de onderzoeker reflecteren. De "uitvoerbaarheid" van code garandeert niet dat de onderliggende aannames, objectdefinities of computationele paden expliciet of correct zijn. Dit is bijzonder kritiek in de hoge-energiefysica (HEP), waar resultaten afhangen van precieze definities van deeltjescollecties, samengestelde observabelen en selectie-cuts.

Methodologie: Een Multi-Agent Framework

De auteurs stellen een multi-agent framework voor dat de wetenschappelijke analyseworkflow deelt in afzonderlijke, controleerbare stadia. In plaats van te vertrouwen op een enkele prompt om code te genereren, orkestreert het systeem gespecialiseerde agents om codegeneratie, executie, tracing en kritiek te beheren. De workflow is ontworpen om domein-agnostisch te zijn, waarbij domeinspecifieke kennis is ingekapseld in uitwisselbare pakketten.

De kernworkflow bestaat uit de volgende stadia:

1. Domein Initialisatie: Een domeinpakket (bijv. voor LHC Olympics-data) levert een generatieprofiel, een helper-register, selectiebeleid en kritiek-contexten. Dit scheidt de algemene orchestratielogica van de domeinspecifieke middelen.
2. Helper Selectie: Een toegewezen agent analyseert de taakkaart van de gebruiker en een register van vooraf gedefinieerde helper-functies (bijv. kinematische reconstructie, objectselectie) om de meest relevante nuttigheden te identificeren. Deze stap beperkt de daaropvolgende codegeneratie, waardoor het model voorkomt dat het functies verzint of domeintools verkeerd gebruikt.
3. Code Generatie: Een agent genereert een Python-script met behulp van de verrijkte taakkaart (origineel verzoek + geselecteerde helpers) en het domein-generatieprofiel.
4. Executie en Iteratieve Reparatie: De gegenereerde code wordt uitgevoerd in een sandbox. Als er fouten optreden, probeert een Fixer-agent de code te patchen op basis van runtime-diagnostiek. Als reparaties falen, produceert een Regenerator-agent een nieuwe implementatie.
5. Implementatie Tracing: Zodra uitvoerbare code is verkregen, reconstrueert een Tracer-agent een "als-geïmplementeerde specificatie". Het extraheert codefragmenten die overeenkomen met elk item in de taakkaart en brengt deze in verband met variabelen, afhankelijkheidsketens en bronregelverwijzingen. Dit creëert een gestructureerde representatie van wat de code daadwerkelijk doet, onafhankelijk van de ruwe tekst van de broncode.
6. Post-Generatie Kritiek: Een Critique-agent vergelijkt de originele taakkaart met de gereconstrueerde specificatie. Het identificeert mismatches, ontbrekende vereisten, verborgen aannames of semantische schendingen (bijv. het direct berekenen van een samengestelde observable vanuit ruwe deeltjes in plaats van een gereconstrueerd object).
7. Ambiguïteitsdetectie (Golden Axe Oracle): Vóór de codegeneratie inspecteert een Oracle-module de natuurlijke taal-input van de gebruiker op hoog-risico ambiguïteiten. Het identificeert zinnen die tot meerdere geldige implementaties kunnen leiden (bijv. "leading jet" versus "leading jet na cuts") en stelt verhelderende vragen aan de gebruiker, waarbij "Golden" (aanbevolen) en "Silver" (alternatieve) interpretaties worden aangeboden.

Belangrijkste Bijdragen

1. Taakdecompositie voor Kleine Modellen

Een centrale bevinding is dat het decomponeren van de generatietaak kleinere LLM's in staat stelt om complexe wetenschappelijke workflows uit te voeren. Waar eerdere benaderingen (bijv. CoLLM) ongeveer 70B-parameter modellen vereisten voor betrouwbare resultaten, stelt dit framework modellen van slechts 14B parameters (bijv. Qwen2.5-14B, Qwen3-14B) in staat om de volledige pijplijn succesvol te voltooien. De Helper Selector is hierbij cruciaal, omdat het de generator begeleidt door relevante domein-utiliteiten te injecteren, wat de cognitieve belasting van het model vermindert.

2. Semantische Reconstructie en Tracing

De introductie van de Tracer-module adresseert de "black box"-aard van gegenereerde code. Door de implementatie-specificatie vanuit de code te reconstrueren, maakt het framework de definities van geselecteerde collecties, event-selecties en samengestelde grootheden expliciet. Dit maakt een semantische vergelijking mogelijk tussen de intentie van de gebruiker en het gedrag van de code, in plaats van een oppervlakkige syntaxiscontrole.

3. Expliciete Resolutie van Ambiguïteit

De Golden Axe Oracle-module legt de last van het oplossen van ambiguïteit bij de menselijke onderzoeker in plaats van bij het LLM. Door ambiguïteiten in natuurlijke taal te detecteren vóór de codegeneratie en alternatieve interpretaties te presenteren, voorkomt het systeem dat het model stilzwijgend onjuiste aannames maakt.

4. Modulaire Domein-Aanpasbaarheid

Het framework is ontworpen met een vaste interface voor domein-assets. Hoewel de huidige implementatie zich richt op de High Energy Physics (specifiek het LHC Olympics formaat), maakt de architectuur aanpassing aan andere wetenschappelijke domeinen mogelijk door het domeinpakket (generatieprofiel, helper-register, kritiek-context) te vervangen zonder de kern-orchestratielogica te wijzigen.

Resultaten en Validatie

Het framework werd gevalideerd op vijf representatieve collider-fysica analyses (bijv. $W^+W^-$, $t\bar{t}$, $H \to \gamma\gamma$) met behulp van het LHC Olympics event-formaat.

• Stabiliteit van Helper Selectie: De Helper Selector verbeterde de stabiliteit aanzienlijk. Terwijl 70B-modellen een hoge consistentie vertoonden, bereikten ook 14B-modellen een betrouwbare helper-selectie wanneer zij werden begeleid door het register, terwijl eerdere single-agent benaderingen met modellen van deze omvang faalden.
• Codekwaliteit en Semantische Getrouwheid:
  • Code gegenereerd door 14B-modellen was vaak "gedeeltelijk succesvol", waarbij de kern van de selectielogica werd geïmplementeerd, maar faalde bij complexe samengestelde observables (bijv. het berekenen van $\Delta\phi$ tussen een dijet-systeem versus individuele jets).
  • De Critique-fase identificeerde deze semantische mismatches succesvol, zoals de incorrecte toepassing van $b$-jet veto's (toegepast op ruwe jets versus geselecteerde jets) of de incorrecte volgorde van histogram-vulling.
• Ambiguïteitsdetectie:
  • Grotere modellen (72B) detecteerden meer ambiguïteiten (28/30) dan kleinere modellen (14B detecteerde 13/30).
  • De introductie van Oracle-templated (oraclet), die de zoektocht naar ambiguïteit beperkt tot specifieke categorieën (Collection Scope, Multi-part Object, Output Timing), verbeterde de prestaties van kleinere modellen aanzienlijk (bijv. 7B-modellen detecteerden 27/30 nuttige ambiguïteiten met de getemplated benadering).
• Verfijning van de Taakkaart: De studie toonde aan dat het expliciet definiëren van de constructie van samengestelde objecten binnen de taakkaart (in plaats van vertrouwen op impliciete modelconventies) de generatiestabiliteit en -consistentie bij herhaalde runs drastisch verbeterde.

Betekenis en Claims

Het artikel claimt dat reproduceerbaarheid en transparantie in AI-gegenereerde wetenschap meer vereisen dan alleen uitvoerbare code; het vereist een expliciete verantwoording van de aannames en computationele paden die worden gebruikt.

• Paradigmaverschuiving: Het werk beweegt weg van het behandelen van codegeneratie als een enkele inferentiestap naar een gestructureerd proces met meerdere inspectiepunten.
• Toegankelijkheid: Door het gebruik van 14B-modellen mogelijk te maken, maakt het framework geavanceerde AI-ondersteunde wetenschappelijke analyse toegankelijk op lokale computermiddelen, waardoor de afhankelijkheid van dure API-toegang tot enorme propriëtaire modellen wordt verminderd.
• Human-in-the-Loop: Het framework streeft niet naar volledige autonomie. In plaats daarvan positioneert het het LLM als een instrument dat kandidaten genereert, terwijl de Tracer- en Critique-agents, samen met de Oracle, menselijke inspectie en verificatie faciliteren. De tussenliggende artefacten (helper-lijsten, gereconstrueerde specificaties, kritiekrapporten) dienen als een provenance-record, waardoor onderzoekers kunnen auditeren hoe precies een resultaat is afgeleid.

Concluderend stellen de auteurs dat deze modulaire multi-agent benadering de betrouwbaarheid van door LLM's gegenereerde wetenschappelijke analyses verhoogt door impliciete aannames expliciet te maken en het gebruik van kleinere, meer toegankelijke modellen mogelijk te maken zonder de strengheid op te offeren die vereist is voor wetenschappelijke ontdekkingen.