Technische Samenvatting: ForeSci – Het evalueren van LLM-agenten voor vooruitziend AI-onderzoek

1. Probleemdefinitie

AI-onderzoek opereert op een tijdschaal waarbij de huidige frontlinie snel de basislijn van morgen wordt. Naarmate autonome onderzoeksagenten steeds vaker worden ingezet voor ideatie, planning en workflow-executie, krijgen zij impliciet de taak om vooruitziende onderzoeksbeslissingen te nemen: beslissen welke knelpunten aangepakt moeten worden, welke richtingen gevolgd moeten worden, of hoe een project gepositioneerd moet worden voordat er toekomstig bewijs bestaat.

De centrale openstaande vraag is of huidige Large Language Model (LLM) agenten in staat zijn om verdedigbare, op bewijs gebaseerde onderzoeksbeslissingen te nemen met gebruik van uitsluitend het historische bewijs dat op een specifiek moment beschikbaar was. Bestaande benchmarks falen hierin omdat ze doorgaans het volgende evalueren:

• Literatuursynthese of vraagbeantwoording over bestaande papers.
• Toolgebruik of workflow-executie.
• Generatie van paper-componenten (bijv. gerelateerd werk, citaties).
• Voorspelling van toekomstige gebeurtenissen in algemene domeinen zonder strikte temporele beperkingen.

Een cruciale uitdaging bij het evalueren van vooruitziendheid is temporele integriteit. Zonder strikte controles kunnen systemen vertrouwen op "hindsight" (kennis van toekomstige uitkomsten) of datalekken in plaats van op genuante inferentie. Bovendien moeten taken historisch afleidbaar zijn, geworteld in signalen die beschikbaar waren vóór een afkapmoment, in plaats van willekeurige toekomstige gebeurtenissen.

2. Methodologie: Het ForeSci-framework

ForeSci is een temporeel gecontroleerde benchmark die ontworpen is om een retrospectieve voorspellingsomgeving te simuleren. Het evalueert of agenten op een strikt historisch afkapmoment ($t$) beslissingen kunnen nemen met uitsluitend chronologisch uitgelijnde bewijslast ($K_{\le t}$), terwijl de post-afkap literatuur ($G_{>t}$) verborgen blijft voor validatie.

2.1 Constructie van de Benchmark

• Domeinen: De benchmark bestrijkt vier snel bewegende AI-subvelden: LLM Agents, LLM Fine-tuning/Post-training, RAG/Retrieval Structuring, en Visual Generative Modeling.
• Kennisbasis: Voor elke taak wordt een afkapmoment-gealigneerde offline kennisbasis geconstrueerd vanuit arXiv en Semantic Scholar. Papers worden gefilterd in "core" (centrale bijdragen, toekomstgerichte signalen) en "support" papers. Post-afkap papers worden strikt achtergehouden tot de evaluatie.
• Taxonomie-inductie: Om te garanderen dat taken afleidbaar zijn, gebruikt ForeSci een temporele taxonomie (geïnspireerd door TaxoAdapt) om de evolutie van onderzoekslandschappen te modelleren. Nodes representeren subrichtingen en edges representeren relaties in methode-evolutie. Dit stelt het systeem in staat om trajecten af te leiden uit pre-afkap bewijs zonder directe toegang tot toekomstige uitkomsten.
• Taakfamilies: 500 taken zijn verdeeld over vier beslissingsfamilies, die elk een ander type strategisch oordeel vereisen:
  1. Direction Forecasting: Voorspellen welke technische traject zal aan momentum winnen.
  2. Bottleneck–Opportunity Discovery: Het identificeren van een fundamenteel knelpunt en de kans die dit ontsluit.
  3. Strategic Research Planning: Het rangschikken van onderzoeksopties voor een hypothetisch team onder beperkingen.
  4. Venue-Conditioned Positioning: Het positioneren van een bijdrage voor een specifieke venue-cyclus op basis van verwachtingen binnen de community.

2.2 Evaluatieprotocol

ForeSci hanteert een multi-signaal evaluatieprotocol om verschillende dimensies van onderzoeksbesluitvorming te beoordelen:

1. Prediction Factuality (Fact): Meet of atomaire claims in het antwoord worden ondersteund door de verborgen toekomstige validatietargets (met behulp van een atomaire-fact F1-score).
2. Future-Target Alignment (FTA): Evalueert of het antwoord overeenkomt met de specifieke toekomstige target (bijv. de correcte rangschikking of traject-label).
3. Evidence Traceability (Trace): Scoort of de redenering van het antwoord getraceerd kan worden naar expliciet pre-afkap bewijs, om ongegronde sprongen te vermijden.
4. Reviewer Persuasiveness (Pers): Een LLM-as-judge metriek (gevalideerd tegen menselijke experts) die de kwaliteit van het onderzoeksbesluit, de mechanistische redenering en het risicobewustzijn beoordeelt alsof deze aan een virtuele reviewer worden gepresenteerd.

2.3 Geëvalueerde Systemen

De studie evalueert vijf systeemconfiguraties over vier LLM-backbones (Qwen3-235B, GPT-5.2, GLM-4.6, Gemini-3), die allemaal getraind zijn vóór de taak-afkapmomenten om datalekken te voorkomen:

• Native LLM: Geen retrieval.
• Hybrid RAG: Sparse + dense retrieval.
• Drie Agent-adaptaties: CoI-stijl (Chain of Ideas), ResearchAgent-stijl, en ARIS-stijl. Deze agenten zijn aangepast om strikt binnen de offline kennisbasis te opereren, waarbij retrieval, toolgebruik en geheugen beperkt zijn tot pre-afkap assets.

3. Belangrijkste Resultaten

• Agent-voordelen zijn conditioneel: Agent-stijl methoden verbeteren over het algemeen de Evidence Traceability en Factuality vergeleken met Native LLMs en Hybrid RAG. Deze winst is echter niet uniform; de sterkste methode varieert significant per beslissingsfamilie en backbone.
• Geen uniforme winnaar: Geen enkele agent-architectuur domineert over alle metrieken, backbones en taakfamilies heen. In sommige settings vertonen agentische methoden geen duidelijk voordeel ten opzichte van de native backbone.
• Evidence-Decision Decoupling: Een cruciale diagnostische bevinding is dat agenten een hoge traceability maar lage alignment kunnen vertonen. Agenten kunnen relevante pre-afkap bewijzen citeren en een coherent narratief construeren, maar toch de verkeerde onderzoeksobjecten voorspellen, causale rollen verkeerd toewijzen of het verkeerde type interventie selecteren.
• Drift Analyse: De studie identificeert vier soorten "evidence-to-decision drift":
  1. Scope/Granularity Drift: Het bespreken van de juiste richting op het verkeerde abstractieniveau.
  2. Causal-Role Drift: Het toewijzen van de verkeerde rol aan een technische factor (bijv. een kans behandelen als een knelpunt).
  3. Intervention-Mode Drift: Het richten op het juiste probleem maar het aanbevelen van het verkeerde type interventie.
  4. Temporal-Horizon Drift: Het richten op de verkeerde volwassenheidsfase.
     Ernstige drift vermindert de Fact- en FTA-scores aanzienlijk, zelfs wanneer de traceability hoog blijft.
• Backbone Sensitiviteit: Verschillende LLM-backbones vertonen verschillende "renderingstijlen" (bijv. verbositeit, structurele scaffolding) die metrieken zoals Reviewer Persuasiveness kunnen verwarren, wat de noodzaak voor complementaire metrieken zoals Fact en FTA onderstreept.

4. Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Een Temporeel Gecontroleerde Benchmark: ForeSci introduceert 500 taken over vier AI-domeinen en beslissingsfamilies, gekoppeld aan afkapmoment-gealigneerde kennisbases en pre-afkap backbones. Het is de eerste die volledig prospectieve voorspelling ondersteunt, waardoor de pipeline transparante voorspellingsartefacten kan generen naarmate nieuwe literatuur verschijnt, in plaats van enkel retrospectieve evaluatie.
2. Multi-Signaal Evaluatieprotocol: Het artikel stelt een protocol voor dat de factualliteit scheidt van toekomstige-target alignment, traceability en overtuigingskracht. Deze scheiding maakt het mogelijk om specifieke foutmodi te identificeren (bijv. een agent die feitelijk onderbouwd is maar directioneel onjuist is) die een enkele geaggregeerde score zou verbergen.
3. Diagnostische Audit van Onderzoeksagenten: De studie biedt een systematische evaluatie die aantoont dat hoewel agenten de traceability verbeteren, zij een voorheen onbestudeerde foutmodus introduceren: evidence-decision decoupling. Dit benadrukt dat het organiseren van bewijs niet garandeert dat er ook een correct strategisch oordeel wordt gevormd.

5. Beperkingen en Ethische Overwegingen

De auteurs stellen expliciet dat de resultaten van ForeSci geïnterpreteerd moeten worden als bewijs binnen deze gecontroleerde benchmarksetting, en niet als een universele rangschikking van onderzoeksagenten over alle wetenschappelijke domeinen.

• Tacit Knowledge (Stilzwijgende Kennis): De benchmark leunt op via papers zichtbare signalen en kan de stilzwijgende kennis van de community, ongepubliceerd werk of private verwachtingen van reviewers niet volledig vatten.
• Evaluatie Benadering: Scores zijn benaderingen van rubric-gebaseerde reviewer overtuigingskracht, en geen directe metingen van wetenschappelijke waarde.
• Ethisch Gebruik: De benchmark is bedoeld voor de diagnostische evaluatie van onderzoeksassistent-systemen. Het mag niet worden gebruikt om onderzoeks- of venue-aanbevelingen, peer-review beslissingen of onderzoeksprioritering te automatiseren zonder menselijk toezicht, aangezien slecht gekalibreerde systemen premature convergentie op modieuze richtingen kunnen stimuleren.

Concluderend herkadert ForeSci vooruitziend AI-onderzoek als een gecontroleerd besluitvormingsprobleem, en laat zien dat hoewel huidige agenten effectief bewijs kunnen organiseren, zij nog steeds worstelen met de strategische afstemming van dat bewijs op toekomstige onderzoeksrichtingen.