Technisch Overzicht: CARTOGRAPH – Verifieerbare Sturing en Weigering voor Autonome Ontdekking

1. Probleemstelling

Huidige loops voor autonome wetenschappelijke ontdekking, die Large Language Model (LLM) planners, geautomatiseerde laboratoria en statistische interpreteerders integreren, kampen met een kritieke flessenhals: besluitvorming onder structurele inadequatie. Terwijl bestaande systemen experimenten kunnen voorstellen (Select) en data kunnen interpreteren, missen ze een verifieerbaar mechanisme om te bepalen wanneer de huidige bibliotheek van mechanistische modellen fundamenteel onjuist is.

Standaard Bayesiaans Optimaal Experimenteel Ontwerp (BOED) gaat ervan uit dat de ware wet binnen de prior-ondersteuning ligt, en klassieke modeldiscriminatie gaat ervan uit dat ten minste één rivaliserend model correct is. In scenario's met hoge inzet, zoals farmacokinetica of materiaalsynthese, falen deze aannames vaak. Het artikel identificeert een gat in de "Refuse"-beslissing: het systeem kan momenteel niet hoorbaar signaleren wanneer het moet stoppen met het maken van claims omdat de hypotheseruimte zelf structureel onvoldoende is.

2. Methodologie: Het CARTOGRAPH-framework

De auteurs stellen CARTOGRAPH voor, een verificatielaag die drie gekoppelde beslissingen koppelt: Select (keuze van experiment), Resolve (het sluiten van ambiguïteit) en Refuse (detectie van bibliotheek-inadequatie). Het framework werkt onder een "behavioral access"-model, waarbij de agent numerieke outputs observeert van simulators of robots in plaats van symbolische vergelijkingen.

2.1. Onopgeloste Subruimte-geometrie

Het kernwiskundige object is de onopgeloste subruimte ($U_\tau$), gedefinieerd als de span van de rechter singuliere vectoren van de geaccumuleerde discrepantiematrix ($H_{cur}$) die overeenkomen met singuliere waarden $\sigma_j \le \tau$.

• Discreantiematrix ($H$): Geconstrueerd door gelineariseerde paarwijze predictieve verschillen ($D_{ij,e} = J_{i,e} - J_{j,e}$) over alle modelparen in de bibliotheek voor een kandidaat-experiment $e$ op te stapelen.
• Select (Sturing): Het framework selecteert experimenten die informatiewinst maximaliseren binnen $U_\tau$.
  • Raw Score: De isotrope onopgeloste-projectiescore, $\|H_e U_\tau\|_F^2$, wat overeenkomt met de onopgeloste Fisher-informatie trace onder lokale lineair-Gaussische aannames.
  • CARTOGRAPH-A: De exacte A-optimale regel, die de reductie in posterieure variantie op de onopgeloste subruimte maximaliseert: $\text{tr}(\Lambda_{cur}) - \text{tr}((\Lambda_{cur}^{-1} + G_e)^{-1})$, waarbij $G_e$ de ruisbewuste informatiematrix is.
• Resolve: Ambiguïteit wordt als opgelost beschouwd wanneer $\dim(U_\tau) = 0$ (exact regime) of wanneer de kleinste singuliere waarde groter is dan $\tau$ (approximatief regime).

2.2. De Refusal Guard

In tegen tegenstelling tot standaard BOED bevat CARTOGRAPH een residuele weigeringsmechanisme. Het vertrouwt niet alleen op de geometrie van $U_\tau$, maar monitort de fysieke fit van het best passende bibliotheeklid tegen geobserveerde data.

• Residu-metriek ($\rho$): De genormaliseerde $\ell_2$-residu van het best passende bibliotheeklid relatief aan fysiek betekenisvolle samenvattende kenmerken (bijv. $C_{max}$, terminale helling).
• Identificatiekloof ($\mu$): De BIC-kloof tussen de top twee bibliotheekleden.
• Logica: Een model wordt pas voorlopig geïdentificeerd als $\rho \le \delta$ (residu-drempelwaarde) en $\mu \ge \mu_{min}$ (BIC-drempelwaarde). Cruciaal is dat als $\rho$ in latere rondes $\delta$ overschrijdt, het systeem eerdere identificaties intrekt (revokes), wat signaleert dat de bibliotheek structureel inadequaat is.

2.3. Theoretische Bruggen

Het artikel stelt vast dat CARTOGRAPH geen willekeurige heuristiek is, maar zich binnen de gevestigde theorie bevindt onder een lokale lineair-Gaussische brug:

• Fisher Informatie: De ruwe projectiescore is exact de onopgeloste Fisher-informatie trace.
• Posterieure Variantie: Voor $k=1$ (één onopgeloste dimensie) is het maximaliseren van de projectiescore gelijk aan het minimaliseren van de posterieure variantie.
• EIG en Box-Hill: Het framework biedt een eerste-orde uitlijning met gesloten vorm Expected Information Gain (EIG) en een isotrope-limiet reductie van de Box-Hill criterium.
• Schaalwetten: Theoretische analyse voorspelt dat in laag-dimensionale settings ($k/d \approx 1/2$), onopgeloste-projectiemethoden slechts gelijkwaardig zullen zijn aan eenvoudige discrepantie-heuristieken, terwijl ze in hoog-dimensionale settings ($d \to \infty$), strikt superieur zijn.

3. Belangrijkste Bijdragen

1. Formele Access-Model Distinctie: Scheidt symbolische toegang (coverage property) van behaviorale toegang (rank property), en definieert de voorwaarden waaronder de ware wet herstelbaar is.
2. CARTOGRAPH Framework: Een verenigde loop die onopgeloste subruimte-sturing integreert met een residu-gebaseerde weigeringsguard, wat "auditable stop and escalate"-signalen mogelijk maakt.
3. Lokale BOED Brug: Bewijst exacte identiteiten tussen onopgeloste Fisher-informatie, A-optimaliteit en gesloten vorm EIG/Box-Hill in het lokale lineair-Gaussische regime.
4. Schaaltheorie: Afgeleid een exacte random-candidate schaalwet die voorspelt wanneer discrepantie-heuristieken volstaan versus wanneer projectie noodzakelijk is.
5. Empirische Validatie: Demonstreert prestaties over symbolische dynamische systemen, farmacokinetische (PK) benchmarks, EPA tijdreeksdata en een retrospectieve audit van het A-Lab autonome materiaalsysteem.

4. Experimentele Resultaten

4.1. Select: Gestructureerde Nietlineaire Cascade

In een schaalbare ODE-systeem benchmark ($d \in \{2, 4, 8, 16\}$):

• Hoog-dimensionale Winst: Bij $d=8$ selecteert CARTOGRAPH-A het oracle "hidden-best" experiment in 65% van de gevallen, vergeleken met 2% voor ruwe projectie en discrepantie-baselines ($p < 10^{-21}$).
• Laag-dimensionale Gelijkwaardigheid: Bij $d=2$ scoren alle methoden gelijk, wat consistent is met de theoretische voorspelling dat discrepantie-heuristieken de helft van het nuttige signaal vangen wanneer $k/d = 1/2$.
• Efficiëntie: CARTOGRAPH-A bereikt prestaties die vergelijkbaar zijn met gesloten vorm EIG, maar is computationeel goedkoper (één SVD per ronde versus Monte Carlo integratie).

4.2. Select: Farmacokinetische Grensgeval

In een laag-dimensionale PK bibliotheek ($k/d \approx 1/2$):

• Het framework observeert bijna-gelijkwaardigheid tussen CARTOGRAPH en discrepantie-heuristieken, wat de schaaltheorie valideert.
• Dit resultaat wordt gepresenteerd als een eerlijke negatieve bevinding: in lage dimensies biedt complexe projectie geen significant voordeel boven eenvoudige discrepantie.

4.3. Refuse: Mechanismen buiten de bibliotheek

De meest onderscheidende bevinding is de intrekkingscapaciteit (revocation capability):

• Scenario: Drie PK-mechanismen buiten de bibliotheek (tijdvariërende klaring, verzadigde eliminatie, enterohepatische recirculatie) en één in-library controle.
• Gedrag: CARTOGRAPH identificeert voorlopig een bibliotheeklid in de vroege rondes (0–1), maar trekt deze identificaties in in latere rondes (2–5) naarmate de genormaliseerde residuen ($\rho$) de weigeringsdrempel ($\delta = 0.25$) overschrijden.
• Controle: De in-library controle blijft gedurende de hele tijd geïdentificeerd.
• Baseline Falen: Een standaard voorspellende onzekerheids-heuristiek (ensemble variantie) faalt in het detecteren van deze fouten en blijft confident, zelfs wanneer de bibliotheek onjuist is.

4.4. Real-World Audit: A-Lab

Een retrospectieve audit van 40 positieve claims uit het gepubliceerde A-Lab autonome materiaalsysteem:

• Refusal Prestaties: De CARTOGRAPH guard markeerde alle 4/4 claims die later onder handmatige heranalyse als "inconclusief" werden gemarkeerd.
• Slaagpercentage: Het liet 32/36 bevestigde claims door.
• Vergelijking: Een residu-gebaseerde baseline (Rwp) slaagde er niet in om de inconclusieve claims te markeren.

5. Betekenis en Claims

Het artikel claimt dat CARTOGRAPH een gereguleerde aanpak biedt voor autonome ontdekking. De betekenis ligt niet in universele selectiewinst (die in lage dimensies bescheiden is), maar in het auditbare weigeringssignaal.

• Eerlijkheid: Het framework behandelt expliciet het geval waarin de bibliotheek structureel onjuist is, een scenario dat standaard BOED negeert.
• Intrekking (Revocation): Het demonstreert het vermogen om voorlopige wetenschappelijke claims in te trekken naarmate er meer bewijs wordt verzameld, een gedrag dat essentieel is voor wetenschap met hoge inzet.
• Governance: Het systeem genereert een beslissingslogboek ($\rho, \delta$, intrekkingsgebeurtenissen) dat geaudit kan worden, waarbij "goed onderbouwde weigeringen" worden behandeld als wetenschappelijk kredietwaardige uitkomsten.

De auteurs benadrukken dat het "verifieerbare" karakter van het systeem voortkomt uit de gelogde residuen en drempelwaarden, en niet uit een universele betrouwbaarheidscertificering. Het framework is ontworpen als een verificatielaag voor LLM planners, om de rigoureuze statistische discriminatie te afhandelen die LLM's niet inherent kunnen uitvoeren.