Technische Samenvatting: ReproRepo

Probleemstelling

Het reproduceren van onderzoeksresultaten is fundamenteel voor wetenschappelijke vooruitgang, maar het verifiëren van bevindingen en het voortbouwen op eerder werk vereist vaak het navigeren door complexe combinaties van papers, code, data en experimentele artefacten. Hoewel Large Language Model (LLM) agents veelbelovend zijn voor het automatiseren van aspecten van reproduceerbaarheid, kampen bestaande evaluatiebenchmarks met een kritieke schaalbaarheidsbottleneck. Voorgaande benaderingen leunen zwaar op aanzienlijke handmatige inspanning voor datacuratie, door experts geformuleerde vragen, de voorbereiding van artefacten en handmatische evaluatie. Gevolgelijk dekken deze datasets doorgaans minder dan 100 papers, bevatten ze vaak alleen hoogwaardige artefacten en hebben ze moeite om relevant te blijven in het snel veranderende onderzoekslandschap vanwege de moeilijkheid om ze bij te werken.

Methodologie: Het ReproRepo-framework

Om schaalbaarheid aan te pakken, introduceren de auteurs ReproRepo, een framework voor de schaalbare, realistische en gemakkelijk bij te werken evaluatie van LLM agents op het gebied van reproduceerbaarheidsaudits. De kerninnovatie is het benutten van GitHub issues als natuurlijk voorkomende signalen van menselijk toezicht. In plaats van dat experts handmatig taken ontwerpen of fouten injecteren, behandelt ReproRepo door gebruikers gerapporteerde issues als bewijs van echte reproductieblokkades in de praktijk.

Dataconstructie

Het framework construeert een benchmark vanuit drie primaire bronnen:

1. Conference Papers: Geaccepteerde papers van belangrijke machine learning-conferenties (NeurIPS 2022/2024, ICLR 2026).
2. GitHub Repositories: De gekoppelde codebases die bij deze papers horen.
3. GitHub Issues: Zowel open als gesloten issues die zijn gerapporteerd door gebruikers die probeerden het werk te reproduceren.

De datapijplijn omvat het filteren van papers om alleen diegene te behouden met bruikbare repositories en ten minste één reproduceerbaarheidsgerelateerd issue. Voor de evaluatie bouwt het systeem specifieke repository-snapshots:

• Open Issues: De staat van de repository op het moment van verzameling.
• Closed Issues: De staat van de repository direct vóór het aanmaken van het issue (pre-fix), zodat agents de code evalueren zoals een gebruiker deze zou hebben gezien toen de problemen zich voordeden.
• Post-Fix Snapshots: Voor closed issues met patches wordt een post-fix staat hersteld om te dienen als validatieset voor het meten van fout-positieven (d.w.z. ervoor zorgen dat agents geen issues rapporteren die al zijn opgelost).

Agent Taak en Protocol

De evaluatie richt zich op een compute-light statische inspectie setting. Agents krijgen de paper PDF en een repository-snapshot, maar het is hen strikt verboden om:

• Code uit te voeren of omgevingen op te zetten.
• Toegang te krijgen tot het internet, externe API's of verborgen benchmark-metadata.
• De werkelijke GitHub issues te bekijken die worden gebruikt voor de grondwaarheid (ground truth).

Agents hebben de taak om een statische audit uit te voeren om potentiële reproduceerbaarheidsblokkades te voorspellen, waarbij ze een gerangschikte lijst van bevindingen produceren, geordend op de geschatte waarschijnlijkheid dat een gebruiker deze tegenkomt.

Evaluatiemetrieken

Voorspellingen van agents worden beoordeeld door een aparte LLM-judge tegenover de verborgen menselijk gerapporteerde issues. De beoordeling gebruikt drie labels:

• Exact Match (EM): De bevinding identificeert hetzelfde praktische probleem en de bijbehorende trigger.
• Semantic Match (SM): De bevinding identificeert een semantisch gerelateerde blokkade met concrete overlap maar onvolledige specificiteit (bijv. dezelfde pipeline maar een ander falingspunt).
• None: Geen nuttig bewijs dat de agent de issue heeft ontdekt.

Metrieken worden geaggregeerd op issue-niveau (fractie van de verborgen issues die zijn teruggevonden) en op paper-niveau (fractie van de papers waar ten minste één of alle verborgen issues zijn teruggevonden). Een False Positive Rate (FPR) wordt berekend door agents te draaien op post-fix snapshots; als een agent een bevinding rapporteert die overeenkomt met een opgelost issue, wordt dit geteld als een fout-positief.

Belangrijkste Bijdragen

1. Schaalbaar Framework: Introductie van ReproRepo, dat GitHub issues gebruikt als gratis, natuurlijk voorkomende supervisie, wat diverse en continu bij te werken benchmarks mogelijk maakt met minimale handmatige annotatie.
2. Grootschalige Benchmark: Constructie van een dataset bestaande uit 1.149 recente machine learning papers en 7.553 door mensen gerapporteerde reproductieblokkades, aanzienlijk groter dan eerdere reproduceerbaarheidsbenchmarks.
3. Systematische Evaluatie: Een uitgebreide evaluatie van state-of-the-art model-agent configuraties (inclusief Claude Code en Codex gekoppeld aan modellen zoals GPT-5.5 en Claude Opus 4.7) onder statische inspectiebeperkingen.

Experimentele Resultaten

De studie evalueerde vier frontier model-agent configuraties op 1.149 papers. Belangrijkste bevindingen zijn:

• Hoge Recovery van Blockers: Verrassend genoeg kunnen statische agents (zonder code-executie) een aanzienlijk deel van de door mensen gerapporteerde blokkades identificeren. De beste configuratie (Codex met GPT-5.5) bracht ten minste één semantisch gerelateerde menselijk gerapporteerde blokkade naar voren voor ~90% van de papers (89,7% voor ICLR 2026, 93,3% voor de hoofdfase van NeurIPS 2024).
• Semantische vs. Exacte Lokalisatie: Hoewel agents zeer effectief zijn in het blootleggen van zichtbare fouten en het identificeren van de juiste semantische regio (Semantic Match rates zijn aanzienlijk hoger dan Exact Match rates), hebben ze moeite met exacte lokalisatie. Bijvoorbeeld, op ICLR 2026 was de Semantic Match rate 58,1%, terwijl de Exact Match rate 25,4% was.
• Lage False Positive Rate: De agents vertoonden een hoge precisie, waarbij de False Positive Rates laag bleven (maximaal 3,50% over alle modellen), wat aangeeft dat de gerapporteerde issues geworteld zijn in plausibele statische bewijslast in plaats van hallucinaties.
• Falingcategorieën: Agents presteerden het best op "Silent Wrong Setup" (bijv. ontbrekende artefacten, mismatchende configuraties) en "Crash Immediate" (bijv. gebroken imports). Ze hadden meer moeite met "Crash Late" en "Silent Wrong Number", die vaak uitvoering of vergelijking met gerapporteerde metrieken vereisen.
• Cost-Performance Trade-off: Hoewel GPT-5.5 de hoogste prestaties leverde, behaalde DeepSeek-V4-Pro een vergelijkbare paper-level semantic match rate (89,0% vs. 89,7%) tegen een fractie van de kosten (23% per run), wat wijst op een sterke trade-off voor brede triage.

Betekenis en Claims

Het paper beweert dat ReproRepo een herbruikbaar, schaalbaar framework biedt voor toekomstige evaluaties van LLM agents op het gebied van real-world reproduceerbaarheidsaudits. De auteurs stellen dat:

• Statische inspectie levensvatbaar is voor triage: Agents kunnen effectief echte reproduceerbaarheidsproblemen identificeren zonder code uit te voeren, wat hen nuttig maakt voor vroege beoordeling en auteurstriage.
• GitHub issues een geldige supervisiesignaal zijn: Het gebruik van natuurlijk voorkomende gebruikersrapporten maakt de constructie van grootschalige, realistische benchmarks mogelijk die moeilijk te onderhouden zijn met handmatige expertcuratie.
• Beperkingen blijven bestaan: De auteurs merken bescheiden op dat hoewel agents goed zijn in het blootleggen van zichtbare fouten, ze nog niet voldoende zijn voor exacte lokalisatie van fouten of het identificeren van minder zichtbare fouttypen die uitvoering vereisen. Het framework is bedoeld als een triage-signaal in plaats van een definitief oordeel over reproduceerbaarheid.

Het werk concludeert dat hoewel huidige agents de uitvoering-gebaseerde validatie niet volledig kunnen vervangen, ze een krachtig hulpmiddel bieden voor het opschalen van de initiële audit van onderzoeksreproduceerbaarheid.