CrossTrace: A Cross-Domain Dataset of Grounded Scientific Reasoning Traces for Hypothesis Generation

Probleemstelling

De huidige wetenschappelijke literatuur groeit exponentieel (bijv. meer dan 2 miljoen biomedische artikelen per jaar op PubMed), waardoor het voor individuele onderzoekers onmogelijk is om nieuwe, grensoverschrijdende inzichten te identificeren door alleen literatuur te lezen. Hoewel Large Language Models (LLMs) potentie hebben om wetenschappelijke hypothesen te genereren, lopen bestaande datasets en methoden vast op drie kritieke beperkingen:

1. Domeinbeperking: Bestaande datasets (zoals HypoGen) zijn vaak beperkt tot één domein (bijv. alleen Computer Science), terwijl er een groot tekort is aan data voor biomedische research.
2. Ontbrekende redeneerketens: Veel datasets bevatten alleen input-output paren of paper-level metadata, maar missen de expliciete, stap-voor-stap redeneerketens die voorkennis verbinden met nieuwe hypothesen.
3. Gebrek aan gronding (Grounding): Zelfs waar redeneringen aanwezig zijn, worden individuele stappen zelden gekoppeld aan directe citaten uit de bronliteratuur. Dit maakt het onmogelijk om te verifiëren of de redenering gebaseerd is op feiten of een plausibele hallucinatie is.

Methodologie

De auteur introduceert CrossTrace, een nieuw dataset en framework om deze gaten te dichten.

1. Dataset Constructie (CrossTrace)

• Omvang: 1.389 grondige wetenschappelijke redeneertraces.
• Domeinen: Biomedisch onderzoek (518), AI/ML (605), en cross-domein werk (266).
• Bronnen: Preprints van medRxiv, bioRxiv en arXiv.
• Extractie Pipeline: Een geautomatiseerd proces dat nieuwe papers scant, relevante secties (Introductie/Discussie) extraheert en deze verwerkt via Claude Sonnet 4.
• Schema (Input/Trace/Output): Elke record volgt een gestructureerd formaat:
  • Input: Voorgaande kennisstand en conventionele aannames ("Bit").
  • Trace: Een geordende reeks van 3 tot 6 redeneerstappen. Cruciaal: elke stap is gegrond in een direct citaat uit de bronpaper.
  • Output: De kerninzicht ("Spark"), de specifieke hypothese en de experimentele aanpak.
• Validatie: Een menselijke annotator (de auteur) heeft 150 gestratificeerde records gecontroleerd. Resultaat: 99,7% van de stappen was correct gegrond, zonder enige gefabriceerde stappen.

2. Experimenteel Opzet

• Model: Fine-tuning van Qwen2.5-7B-Instruct via QLoRA.
• Trainingsscenario's:
  • Baseline: Ongetraind model.
  • Run 1: Getraind uitsluitend op CrossTrace-data.
  • Run 2b: Gebalanceerde cross-domein training (CrossTrace + HypoGen CS-data) om te testen of redeneerpatronen overdrachtelijk zijn.
• Evaluatiemetrics:
  • IAScore: Beoordeling door LLM-judges (GPT-4o en Claude Opus 4.5).
  • Cosine Similarity: Voor "Spark" (kerninzicht) en hypothese.
  • Structurele Compliance: Percentage outputs dat het vereiste formaat volgt.
  • Menselijke Evaluatie: Blinde beoordeling door drie onafhankelijke domeinexperts.

Belangrijkste Bijdragen

1. Eerste Cross-Domein Dataset: CrossTrace is de eerste dataset die multi-domein dekking combineert met stap-voor-stap redeneertraces en bron-tekst gronding voor hypothesegeneratie.
2. Gegrond Schema met Verificatie: Uitbreiding van het "Bit-Flip-Spark" framework met een trace-veld waar elke stap gekoppeld is aan een broncitaat, wat automatische en menselijke verificatie mogelijk maakt.
3. Taxonomie van Ontdekkingspatronen: Een classificatie van acht terugkerende patronen (zoals "gap fill", "analogy transfer", "Swanson ABC") die in de dataset zijn geannoteerd.
4. Bewijs van Overdraagbaarheid: Het paper levert empirisch bewijs dat wetenschappelijke redeneerpatronen domein-onafhankelijk zijn. Een model getraind op een mix van biomedische en CS-data presteert bijna even goed als domeinspecialisten.

Resultaten

De fine-tuning op CrossTrace leidde tot aanzienlijke verbeteringen ten opzichte van de baseline:

• Kwaliteit van Hypothesen (IAScore):
  • Steeg van 0,828 naar 0,968 (beoordeeld door GPT-4o).
  • Steeg van 0,716 naar 0,888 (beoordeeld door Claude Opus 4.5).
• Structuur en Gronding:
  • Structurele compliance verbeterde van 0% naar 100%.
  • Cosine-similariteit voor de "Spark" (kerninzicht) steeg van 0,221 naar 0,620, wat aangeeft dat het model nu de kerninzichten veel beter identificeert.
• Cross-Domein Transfer:
  • Een ablatiestudie toonde aan dat een model getraind op een 50/50 mix van biomedische en CS-data (elk 590 records) 99,3% van de prestaties bereikte van een model dat alleen op biomedische data was getraind, en 99,7% van een model dat alleen op CS-data was getraind. Dit bewijst dat de redeneerstructuur overdraagbaar is, ongeacht het domein.
• Menselijke Evaluatie:
  • Drie experts beoordeelden de gegenereerde hypothesen gemiddeld hoog op bruikbaarheid (4,18/5), wetenschappelijke houdbaarheid (3,76/5) en algehele kwaliteit (3,84/5).
  • De inter-rater overeenstemming voor wetenschappelijke houdbaarheid was uitstekend (ICC = 0,929).

Betekenis en Conclusie

De centrale bevinding van dit werk is dat gestructureerde, gegrondde redeneertraces overdraagbare redeneerprimitieven bevatten. Het is niet de domeinspecifieke kennis die de beperkende factor is bij het trainen van modellen voor hypothesegeneratie, maar de vorm van de wetenschappelijke redenering zelf.

CrossTrace demonstreert dat:

1. Het trainen van modellen op gestructureerde, bron-gegronde traces de kwaliteit van gegenereerde hypothesen drastisch verbetert.
2. Wetenschappelijke redenering een universele structuur heeft die over disciplines heen werkt; een model kan leren "hoe" je een hypothese opbouwt zonder "wat" het specifieke domein is.
3. Dit framework een nieuwe standaard biedt voor het creëren van trainingsdata die hallucinaties minimaliseert en de reproduceerbaarheid van AI-gedreven wetenschappelijke ontdekkingen verhoogt.

Dit werk vormt een fundament voor toekomstige systemen die niet alleen hypothesen genereren, maar dit doen met een transparante, verifieerbare en logisch onderbouwde redeneringsketen.