Technische Samenvatting: Correlatie is niet genoeg – Het inbedden van menselijke metadata voor individuele causale ontdekking

1. Het Probleem: Inbeddingsgeometrie als Correctheid

Het artikel behandelt een kritieke foutmodus bij het inzetten van Large Behavioural Models (LBM's) voor individuele causale ontdekking. In tegenstelling tot standaard retrieval-systemen, waarbij een downstream taalmodel ruisachtige embedding-resultaten kan wegfilteren, construeert een LBM een causale graaf van het leven van een gebruiker, waarbij de nabijheid in de embedding dient als direct bewijs voor het hypothetiseren van randen (edges). Als de embeddingruimte ongerelateerde gebeurtenissen (bijv. "cortisol 28 µg/dL" en "beursvolatiliteit") dicht bij elkaar plaatst vanwege oppervlakkige lexicale overlap, zal de LBM onterecht causale verbanden afleiden, wat het levensmodel van de gebruiker corrumpeert.

De auteurs demonstreren dat standaard biomedische encoders (BioBERT, PubMedBERT, BioM-ELECTRA) niet voldoen aan deze specifieke vereiste. Ondanks een hoge binnen-domein gelijkenis, vertonen deze modellen anisotropie, waarbij de embeddings inklappen in een smalle kegel waar ongerelateerde cross-domein paren cosinusgelijkenissen bereiken van 0,76–0,92. Gevolgelijk is de nauwkeurigheid van cross-domein discriminatie exact 0%, waardoor gepre-trainde modellen onbruikbaar zijn voor graaf-gebaseerde causale redenering.

2. Methodologie

De auteurs stellen een twee-fasen contrastieve fine-tuning strategie voor om de embeddinggeometrie te corrigeren, gevolgd door een hardware-geoptimaliseerde inference pipeline.

2.1 Twee-fasen Fine-Tuning

• Fase 1 (Contrastieve Training): Modellen worden gefine-tuned op 72.034 triplets (anchor, positive, hard-negative) afkomstig van acht publieke datasets (waaronder BIOSSES, MedNLI en psychologische journals). De training maakt gebruik van Matryoshka Loss ingekapseld rondom Multiple Negatives Ranking Loss (MNRL). Deze aanpak traint geneste dimensies (768, 512, 256, 128, 64) simultaan, waardoor één enkel model verschillende vectorformaten kan dienen voor opslag, traversering en on-device inference zonder opnieuw te trainen.
• Fase 2 (BODHI): Om de beperkingen van heuristiek-gebaseerde hard negatives aan te pakken, introduceren de auteurs BODHI (Biomedical Ontology-Graph Hard-negative Inference). Deze fase extraheert hard negatives uit een gecureerde biomedische kennisgraaf. Paren van concepten die wel in de graaf voorkomen maar geen expliciete rand (of een pad van lengte ≤2) missen, worden behanden als hard negatives. Dit leert het model dat de afwezigheid van een domeinexpert-verbinding een sterk signaal is van niet-causaliteit, zelfs als er oppervlakkige woordoverlap is.

2.2 Hardware en Inference Optimalisatie

De studie evalueert prestaties op twee Intel-platformen:

• Primair: Intel Xeon 6737P (Granite Rapids) met native AMX (Advanced Matrix Extensions) voor BF16 matrixvermenigvuldiging.
• Referentie: AWS c6i.8xlarge (Ice Lake) zonder AMX, vertrouwend op AVX-512 VNNI voor INT8.

De auteurs maken gebruik van OpenVINO voor inference, waarbij de modellen worden geëxporteerd met FP16-gewichten en een BF16 runtime. Zij dagen het standaard advies voor deployment uit door te demonstreren dat FP16 beter presteert dan INT8 op AMX-silicon bij typische serving batchgroottes. Hoewel INT8 theoretische doorvoersnelheid biedt, heft de dequantisatie-overhead die nodig is voor attention en feed-forward blokken op scalaire eenheden de voordelen bij batchgroottes <512 teniet. Bovendien vernietigt INT8-kwantisatie op non-AMX hardware (Ice Lake) het discriminatiesignaal dat door fine-tuning is gecreëerd, waardoor de geometrieratio aanzienlijk afneemt.

3. Belangrijkste Resultaten

3.1 Kwaliteit van de Embeddings

• Geometrieratio: De ratio van inter-domein versus intra-domein afstand verbeterde van 1,05× (pre-trained) naar 1,63× (Fase 1) en uiteindelijk 2,30× (BODHI). Een ratio >1,5 wordt geïdentificeerd als de drempelwaarde voor betrouwbare graaf-redenering.
• Discriminatiekloof: De kloof tussen ongerelateerde en gerelateerde paren steeg van +0,013 (pre-trained PubMedBERT) naar +0,392 (BODHI).
• BIOSSES Correlatie: PubMedBERT Fase 1 bereikte een rangcorrelatie van 0,828 met klinische scores, waarmee de drempel van 0,80 voor sterke overeenstemming werd overschreden.
• Cross-Domein Nauwkeurigheid: Pre-trained modellen scoorden 0% op cross-domein discriminatie. BODHI bereikte een F1-score van 93,0% bij een cosinusdrempel van 0,40, vergeleken met een maximum van 72,7% voor pre-trained modellen.
• Modelarchitectuur: BioBERT en PubMedBERT (BERT-gebaseerd) reageerden goed op fine-tuning. BioM-ELECTRA, ondanks een hoge ruwe gelijkenis, slaagde er niet in om te transformeren naar een bruikbare embedder (F1 bleef laag), wat aangeeft dat span-extraction pre-training objectieven niet vertalen naar causale embedding-taken.

3.2 Prestaties en Latentie

• Latentie Reductie: Op de AMX-server verminderde OpenVINO de single-query latentie van 1.367 ms (PyTorch) naar 10 ms (een 133× versnelling) terwijl de cosinus-getrouwheid >0,994 bleef.
• Doorvoersnelheid: Het gefine-tuned model bereikte 555 zinnen per seconde bij een batch van 512.
• AMX vs. Non-AMX: De AMX-server was 13–27× sneller dan de Ice Lake-referentie. Cruciaal is dat, hoewel Ice Lake INT8 kon gebruiken voor snelheid, deze kwantisatie de discriminatiekloof plat sloeg, waardoor slechts 17–50% van het signaal behouden bleef. Op AMX behield FP16/BF16 de volledige signalfidelity met superieure snelheid.

4. Betekenis en Claims

Het artikel claimt dat voor Large Behavioural Models embeddinggeometrie gelijk staat aan correctheid, en niet slechts een afstemknop is. De auteurs stellen dat:

1. Causale Ontdekking Vereist Separatie: Standaard retrieval verdraagt een hoge ruisvloer; graaf-redenering doet dat niet. De voorgestelde BODHI-methode scheidt succesvol causale ongerelateerde cross-domein gebeurtenissen, waardoor de LBM hypothesen over randen kan opstellen zonder verbindingen te verzinnen.
2. Ontologie-gestuurde Learning: Trainen op "afwezige randen" in een kennisgraaf is een hoog-leverage strategie om de discriminatie van embeddings te verbeteren, wat generaliseert buiten het biomedische domein naar elke gestructureerde ontologie.
3. Hardware-specifieke Deployment: De studie biedt een contra-intuïtieve bevinding voor Intel AMX-hardware: FP16 is superieur aan INT8 voor BERT-klasse embedders bij productie-batchgroottes vanwege de dequantisatie-overheads en het behoud van de discriminatiekloof.
4. Reproduceerbaarheid: De auteurs publiceren de volledige benchmark-suite (B1–B6), de 72k-paren corpus, de BODHI-generator, trainingsscripts en geoptimaliseerde gewichten, met als doel een veld-brede fout in cross-domein causale ontdekking te herstellen in plaats van een propriëtaire barrière (moat) te creëren.

Het artikel concludeert dat hoewel de stap van correlatie naar causaliteit in populaties gerandomiseerde trials vereist, dit voor een individuele LBM grotendeels een kwestie is van embeddinggeometrie. Door de geometrie te corrigeren, kan de graaf-traversering correct functioneren; zonder deze correctie is de downstream redenering fundamenteel gebrekkig.