Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts

Technische Samenvatting: Correct Answer, Wrong Mechanism — Wanneer AI-wetenschappers algemene claims verdedigen die hun eigen data tegenspreken

Probleemstelling
Huidige evaluatiekaders voor AI-wetenschappelijke systemen vertrouwen voornamelijk op resultaatgerichte metrieken, waarbij wordt geverifieerd of een agent een correct eindresultaat produceert tegenover een vaste referentie. Dit artikel betoogt dat dergelijke evaluaties onvoldoende zijn voor wetenschappelijke ontdekking omdat ze falen in het detecteren van "Correct Answer, Wrong Mechanism" (CAWM). In CAWM-scenario's komt een agent tot een numeriek correct of plausibel resultaat, maar verdedigt deze het met een fysisch mechanisme dat ofwel inconsistent is met de eigen gegenereerde data, ofwel niet generaliseert over verschillende regimes. De auteurs stellen dat de validiteit van de uitkomst niet de getrouwheid van het mechanisme impliceert; een agent kan succesvol zijn in een specifiek regime door gebruik te maken van statistische shortcuts of correlaties die onderbreken bij nieuwe omstandigheden, wat leidt tot overgegeneraliseerde claims die een gebrek aan wetenschappelijke validiteit vertonen.

Methodologie
De studie maakt gebruik van een gecontroleerde casestudy binnen een Geant4-simulatie van een Cherenkov-detectormodule ingebed in gletsjerijs. De taak vereist dat agenten bepalen of de distributies van foton-aankomsttijden statistisch gezien muon-geïnduceerde gebeurtenissen kunnen onderscheiden van elektron-geïnduceerde gebeurtenissen.

• Taakontwerp: De "ground truth" observeerbare is de per-event leidende rand fractie ($f_{early}$), die berust op het geometrische verschil tussen muon-tracks (die een scherpe leidende rand produceren) en elektron-cascades (die een diffuse aankomst produceren). Een plausibele maar gebrekkige alternatieve optie is de per-event standaarddeviatie van hit-tijden ($\sigma$), die zich anders gedraagt over verschillende impactparameters ($d$).
• Agent-protocol: De studie evalueert 28 episodes over drie modellen (Claude Opus 4.6 als het primaire model, Gemini 2.5 Flash en Pro als cross-model probes). Vier prompt-varianten werden gebruikt:
  • Prompt A (Open-ended): Geen begeleiding over observeerbare grootheden.
  • Prompt B (Scaffolded): Een vijfstaps proces inclusief een "challenge conclusions" stap.
  • Prompt C (Positive Control): De correcte observeerbare ($f_{early}$) en de fysica-achtergrond worden verstrekt om de uitvoeringscapaciteit te testen.
  • Prompt D (Biased Prior): Bevat een gedeeltelijk onjuiste prior (beweert dat elektronen een hogere leidende rand fractie hebben) om epistemische eerlijkheid te testen.
• Evaluatiecriteria: Episodes worden gecodeerd op basis van drie assen:
  1. Taakuitkomst: Produceert de methode het geclaimde resultaat op de eigen data van de agent?
  2. Mechanismegetrouwheid (Mechanism Fidelity): Is de fysische verklaring correct en generaliseerbaar?
  3. Epistemische Eerlijkheid: Wijzigt de agent zijn overtuigingen wanneer data de priors of de eigen claims tegenspreekt?

Belangrijkste Resultaten
De studie identificeert CAWM als een veelvoorkomende foutmodus waarbij agenten "juist lijkende" resultaten produceren via onjuiste redeneringen:

• Prevalentie van CAWM: In het primaire model (Claude Opus 4.6) vertoonden 4 van de 20 episodes (20%) CAWM. In de cross-model probe (Gemini) vertoonden 3 van de 8 episodes (37,5%) CAWM.
• Mechanisme versus Uitkomst: Agenten selecteerden frequent observeerbare grootheden zoals $\sigma$ of relatieve window-fracties die er weliswaar uitzagen alsof ze deeltjes scheidden bij $d=10$ m, maar faalden in het generaliseren naar $d=20$ of $25$ m, of vertrouwden op fysica (bijv. de compactheid van cascades die een vroege aankomst impliceert) die hun eigen data weerlegde.
• Dissociatie van Eerlijkheid en Getrouwheid: Een cruciale bevinding is dat epistemische eerlijkheid en mechanismegetrouwheid van elkaar kunnen dissociëren. In Prompt D weigerden alle agent de onjuiste prior met betrekking tot de leidende rand fractie van elektronen correct op basis van bewijslast. Echter, één agent (Episode 19) selecteerde vervolgens $\sigma$ als de primaire observeerbare en verdedigde dit met een fysisch mechanisme (een intrinsieke spreiding van 10–15 ns) dat in strijd was met de eigen numerieke tabellen (die een spreiding van slechts ~6,7 ns lieten zien).
• Beperkingen van Scaffolding: Hoewel een vijfstaps scaffold (Prompt B) CAWM in het primaire model verminderde (0/5), slaagde het er niet in CAWM in de cross-model probes te voorkomen (2/2), wat suggereert dat mitigatiestrategieën niet universeel overdraagbaar zijn tussen modelfamilies.
• Executie versus Ontdekking: Wanneer de correcte observeerbare en fysica werden verstrekt (Prompt C), reproduceerden de agenten de resultaten succesvol en identificeerden zij correct de statistische beperkingen bij lage fotonaantallen ($d=25$ m). Dit duidt erop dat de agenten in staat zijn tot executie, maar onbetrouwbaar zijn bij open-ended ontdekking.

Voorgesteld Verificatieprotocol
De auteurs stellen een lichtgewicht, tweeledig verificatieprotocol voor om CAWM te detecteren:

1. Regime-Shift Check: Extraheer het gestelde mechanisme van de agent, leid een voorspelling af voor een aangrenzend regime dat niet is gebruikt om de claim te rechtvaardigen, en verifieer dit tegen een simulatie-run in dat regime. Dit vangt overgegeneraliseerde claims op.
2. Companion Recomputation: Als de correcte observeerbare bekend is, herbereken deze dan op de data van de agent om claims gebaseerd op verwarrende (confounded) observeerbare grootheden te falsificeren (bijv. relatieve windows).
   Samen identificeerden deze controles 100% van de CAWM-gevallen in de studie.

Betekenis en Claims
Het artikel beweert dat huidige LLM coding agents functioneren als betrouwbare tools voor het uitvoeren van gespecificeerde analyses, maar onbetrouwbare wetenschappelijke co-auteurs zijn voor open-ended claim-making.

• Vertrouwensgrenzen: Vertrouwen in een co-auteur vereist verificatie van de mechanismegetrouwheid die huidige systemen niet betrouwbaar zelf kunnen toepassen.
• Wetenschappelijk Risico: CAWM is bijzonder gevaarlijk in wetenschappelijke ontdekking omdat nieuwe fysica vaak zich bevindt op de grenzen van bekende regimes. Een agent met een fout mechanisme zal met zelfvertrouwen extrapoleren naar deze regimes, waardoor onverwachte signaturen mist of valse positieven genereert die door outcome-only checks niet gedetecteerd kunnen worden.
• Evaluatieverschuiving: De auteurs pleiten voor een verschuiving van outcome-only evaluatie naar een drieledig kader (uitkomst, mechanismegetrouwheid en epistemische eerlijkheid). Zij stellen dat autonomie pas toegekend mag worden wanneer agenten in staat zijn aan alle drie de criteria te voldoen, en dat externe verificatie (zoals de regime-shift check) noodzakelijk is voordat nieuwe wetenschappelijke claims geaccepteerd kunnen worden.

Het artikel concludeert dat hoewel AI-wetenschappers taken met een gesloten distributie kunnen afhandelen, zij momenteel niet beschikken over de zelfcorrigerende mechanismen die vereist zijn voor open-ended wetenschappelijke ontdekking, waarbij generalisatie impliciet en onverifieerd is.