Testing the limits of past-adapted explanations by post-endpoint randomisation: anticipatory EEG as a worked case

Technische Samenvatting: Het testen van de grenzen van verleden-geadapteerde verklaringen door post-endpoint randomisatie

Probleemstelling
In de anticipatoire neurowetenschap, met name met betrekking tot EEG-signalen zoals de Contingent Negative Variation (CNV), verklaren onderzoekers de pre-event hersenactiviteit doorgaans aan de hand van "verleden-geadapteerde" informatie: verstreken tijd, cue-waarschijnlijkheid, conditionele hazard, arousal en de geschiedenis van de trial die beschikbaar is vóórdat de gebeurtenis plaatsvindt. Hoewel predictieve modellen de data kunnen fitten met behulp van deze factoren, stelt een "fit" geen "voldoendeheid" vast. Het kernproblein is het onderscheid maken tussen de vraag of deze verleden-geadapteerde factoren de systematische variatie in een vastgestelde endpoint uitputten, of dat er onverklaarde systematische variatie overblijft die mogelijk geordend wordt door informatie die op het moment van de meting nog niet beschikbaar was. Standaard maatstaven voor de kwaliteit van de fit (goodness-of-fit) kunnen dit niet oplossen; zij laten de mogelijkheid open dat het verleden de data louter door toeval of overfitting verklaart, zonder te bewijzen dat er geen toekomst-afhankelijke informatie vereist is.

Methodologie: Level II-A Design-Based Inference
Het artikel introduceert Level II-A, een design-based inferentie-framework dat het onderscheid tussen fit en voldoendeheid test met behulp van post-endpoint randomisatie. De methodologie steunt op een strikte temporele grens en een reeks operationele en statistische condities:

1. Endpoint Commitment: Een single-trial endpoint (bijv. een CNV-achtige amplitude) wordt berekend en "vastgezet" op tijdstip $t_1$ met uitsluitend de informatie die tot dat moment beschikbaar is ($F_{t_1}$). Dit omvat het gebruik van een "forward-only" comparator (een label-blinde voorspeller) om de geregistreerde anticipatoire structuur te verwijderen, waardoor een "bevroren residu" overblijft.
2. Post-Commitment Randomisation: Pas nadat de endpoint is vastgesteld, wijst het systeem een vertraging ($\tau_L$) toe aan de imperatieve gebeurtenis. Deze vertraging wordt getrokken uit een gedeverfereerde randomisatie-wet gebaseerd op pre-assignatie strata, maar is strikt afgeschermd van de constructie van de endpoint en de fitting van de comparator.
3. De Nulhypothese: Onder de "verleden-geadapteerde factorisatie" moet de toegewezen vertraging (een toekomstig label) statistisch onafhankelijk zijn van de reeds vastgestelde endpoint of het bevroren residu. Formeel: $P(\tau_L \in D | F_{t_1}) = P_{sch}(D | R_j)$. Als de verleden-geadapteerde klasse voldoende is, kan de toegewezen vertraging de endpoint niet systematisch ordenen.
4. Condities voor Validiteit: Het framework vereist:
   • (R1) Operationele Scheduler: De vertraging wordt gegenereerd en afgeschermd na de commitment.
   • (R2) Temporele Integriteit: Geen data van na $t_1$ (bijv. zero-phase filtering) mag lekken in de endpoint of de comparator.
   • (R3) Integriteit van de Retained-Sample: Selectieprocessen (levering, artefact-rejectie, inclusie) mogen geen afhankelijkheid induceren tussen de vertraging en de endpoint (vertraging-neutraliteit).
5. Beslissingsarchitectuur: De classifier is niet-compensatoir en volgt een strikte hiërarchie:
   • Audits: Controle op temporele lekkage, naleving van de levering en de integriteit van de scheduler.
   • Kwalificaties: Controle op selectiebias (collider diagnostiek), deelname-inschatbaarheid en route-validiteit (assignment-isolatie vs. sequentiële e-waarde).
   • Inference: Test op een materiële negatieve helling ($\beta_\tau < 0$) met behulp van route-specifieke kalibratie (randomisatie-testen of martingale e-waarden) en een magnitude-drempel ($\beta_{min}$) afgeleid van een label-blinde resolutie-vloer.
   • Uitkomsten: Het systeem classificeert resultaten als: Supported Negative Departure (bewijs van onvoldoendeheid), Forward-Only Adequate (affirmatieve nul), Diagnostic Failure, Selection-Limited, Opposite-Direction, of Inconclusive.

Belangrijkste Bijdragen

• Level II-A Framework: Een nieuwe inferentiestructuur die de aanname "het verleden verklaart het" transformeert in een testbare, magnitude-gekwalificeerde claim. Het verschuift de bewijslast van "het tonen van een fit" naar het "uitsluiten van toekomst-afhankelijke ordening."
• Post-Endpoint Randomisation Probe: Het gebruik van een vertraging die na de meting wordt toegewezen als een negatieve controle. Dit creëert een "boundary test" waarbij elke systematische ordening door de vertraging een falen van de verleden-geadapteerde klasse impliceert.
• Magnitude-Qualified Affirmative Null: Het artikel definieert een "forward-only adequate" uitkomst niet als een eenvoudige niet-verwerping, maar als een begrensde conclusie. Het vereist dat de analyse-pipeline gevoelig genoeg is om een specifieke magnitude van een effect te detecteren (bepaald door simulatie-gekalibreerde false-adequacy rates) en deze niet vindt.
• Synthetische Benchmarking: De auteurs bieden een volledig gespecificeerde, open-source benchmark-pipeline (Level II-A post-endpoint randomisation benchmark) met 1200 gesimuleerde datasets per scenario. Dit valideert de bekwaamheid van de pipeline om false support te controleren, geïnjecteerde signalen te herstellen en operationele fouten (lekkage, selectiebias, collider-effecten) correct te identificeren.

Resultaten
Het artikel presenteert uitsluitend resultaten uit synthetische data; er worden geen menselijke EEG-data geanalyseerd. De synthetische benchmark valideert de pipeline tegen zeven scenariofamilies:

• Clean Null: Onder een zuivere forward-only generator produceerde de pipeline 0/1200 ondersteunde uitkomsten (false support rate = 0.000). Het classificeerde 89,4% als "Forward-Only Adequate" en 9,8% als "Inconclusive" (vanwege resolutielimieten), wat een strikte controle van vals positieve resultaten aantoont terwijl informatiekosten worden erkend.
• Injected Signal: Wanneer een materiële negatieve helling ($-60 \mu V s^{-1}$) werd geïnjecteerd, ondersteunde de pipeline deze in 99,1% van de gevallen met 0% false-adequacy uitkomsten.
• Foutmodi:
  • Temporele Lekkage: 100% van de datasets met post-endpoint lekkage werd correct geclassificeerd als "Diagnostic Failure."
  • Selectiebias: Scenario's met standaard selectie of door colliders geïnduceerde bias werden correct gerouteerd naar "Selection-Limited" uitkomsten (respectievelijk 99,7% en 99,9%), wat valse ondersteuning voorkomt.
  • Opposite Direction: Positieve injecties werden correct geclassificeerd als "Opposite-Direction Departures" (99,3%), waardoor ze niet werden geïnterpreteerd als ondersteuning voor de negatieve hypothese.
• Resolutiegrenzen: De benchmark stelde de false-adequacy grenzen vast voor de affirmatieve nul: 15 $\mu V s^{-1}$ voor de assignment-isolation route en 30 $\mu V s^{-1}$ voor de sequentiële e-waarde route. Onder deze magnituden kan de pipeline een zuivere nul niet betrouwbaar onderscheiden van een kleine systematische afwijking.

Betekenis en Claims
Het artikel claimt een methodologische grens te bieden in plaats van een biologische ontdekking. De significantie ligt in:

1. Rigoureuze Uitsluiting: Het biedt een manier om te testen of een klasse van verleden-geadapteerde modellen voldoende is om een vastgestelde endpoint te verklaren, verder gaand dan louter model fitting.
2. Mechanisme-Neutraliteit: Een "Supported Negative Departure" geeft aan dat de verleden-geadapteerde klasse onvoldoende is, maar identificeert niet het mechanisme (het bewijst bijvoorbeeld niet "precognitie" of een specifieke fysieke substantie). Het stelt enkel vast dat de verklaarde verleden-geadapteerde factoren de variatie niet uitputten.
3. Gekalibreerde Nullen: Het biedt een framework voor "bewijs van afwezigheid" dat gekalibreerd is door de sensitiviteit van de pipeline (false-adequacy rate), waardoor "afwezigheid van bewijs" wordt getransformeerd in een "begrensde affirmatieve conclusie."
4. Generaliseerbaarheid: Hoewel geïllustreerd met anticipatoire EEG, stellen de auteurs dat het ontwerp domein-onafhankelijk is, toepasbaar op elk scenario waarbij een statistiek onherroepelijk wordt vastgesteld voordat een exogene label wordt gegenereerd (bijv. voorspellingen, klinische trials, algoritmische beslissingssystemen).

De auteurs verklaren expliciet dat er geen empirische beslissing wordt genomen in dit artikel; het werk legt de regel vast waarnaar dergelijke beslissingen zouden kunnen worden genomen en demonstreert via synthetische data dat de regel zich declareert zoals bedoeld. Het framework vereist onafhankelijke replicatie (Level II-B) om van een klasse-niveau verwerping over te gaan naar een substantiële mechanistische theorie.