Sintesi Tecnica: La Correlazione Non È Sufficiente – Incorporare Metadati Umani per la Scoperta Causale Individuale

1. Il Problema: La Geometria dell'Embedding come Correttezza

Il documento affronta un fallimento critico nell'implementazione di Large Behavioural Models (LBM) per la scoperta causale individuale. A differenza dei sistemi di recupero standard dove un modello linguistico a valle può filtrare i risultati di embedding rumorosi, un LBM costruisce un grafo causale della vita di un utente dove la prossimità degli embedding funge da prova diretta per ipotizzare gli archi. Se lo spazio degli embedding posiziona eventi non correlati (ad esempio, "cortisolo 28 µg/dL" e "volatilità del mercato azionario") vicini tra loro a causa di una sovrapposizione lessicale superficiale, l'LBM inferirà erroneamente legami causali, corrompendo il modello di vita dell'utente.

Gli autori dimostrano che i codificatori biomedici standard (BioBERT, PubMedBERT, BioM-ELECTRA) falliscono questo specifico requisito. Nonostante l'alta similarità intra-dominio, questi modelli esibiscono anisotropia, collassando gli embedding in un cono stretto dove coppie cross-dominio non correlate raggiungono similarità del coseno di 0,76–0,92. Di conseguenza, l'accuratezza della discriminazione cross-dominio è esattamente dello 0%, rendendo i modelli pre-addestrati inutilizzabili per il ragionamento causale basato su grafi.

2. Metodologia

Gli autori propongono una strategia di fine-tuning contrastivo a due passaggi per correggere la geometria degli embedding, seguita da una pipeline di inferenza ottimizzata per l'hardware.

2.1 Fine-Tuning a Due Passaggi

• Passaggio 1 (Fine-Tuning Contrastivo): I modelli vengono sottoposti a fine-tuning su 72.034 triplette (ancora, positivo, hard-negative) estratte da otto dataset pubblici (inclusi BIOSSES, MedNLI e riviste psicologiche). L'addestramento utilizza la Matryoshka Loss avvolta attorno alla Multiple Negatives Ranking Loss (MNRL). Questo approccio addestra dimensioni nidificate (768, 512, 256, 128, 64) simultaneamente, permettendo a un singolo modello di servire diverse dimensioni vettoriali per l'archiviazione, la traversata e l'inferenza on-device senza ri-addestramento.
• Passaggio 2 (BODHI): Per affrontare i limiti dei hard negative basati su euristiche, gli autori introducono BODHI (Biomedical Ontology-Graph Hard-negative Inference). Questo passaggio estrae hard negative da un grafo di conoscenza biomedica curata. Le coppie di concetti che esistono nel grafo ma mancano di un arco esplicito (o di un percorso di lunghezza ≤2) sono trattate come hard negative. Ciò insegna al modello che l'assenza di una connessione esperta del dominio è un segnale forte di non-causalità, anche se le parole superficiali si sovrappongono.

2.2 Ottimizzazione dell'Hardware e dell'Inferenza

Lo studio valuta le prestazioni su due piattaforme Intel:

• Primaria: Intel Xeon 6737P (Granite Rapids) con AMX (Advanced Matrix Extensions) nativa per la moltiplicazione di matrici in BF16.
• Riferimento: AWS c6i.8xlarge (Ice Lake) senza AMX, basata su AVX-512 VNI per INT8.

Gli autori utilizzano OpenVINO per l'inferenza, esportando i modelli con pesi FP16 e un runtime BF16. Essi mettono in discussione i consigli di deployment standard dimostrando che FP16 supera INT8 su silicio AMX con tipiche dimensioni di batch di serving. Sebbene l'INT8 offra guadagni teorici di throughput, l'overhead di dequantizzazione richiesto per i blocchi di attenzione e feed-forward su unità scalari nega questi benefici con batch size <512. Inoltre, la quantizzazione INT8 su hardware non-AMX (Ice Lake) distrugge il segnale di discriminazione creato dal fine-tuning, riducendo significativamente il rapporto geometrico.

3. Risultati Chiave

3.1 Qualità dell'Embedding

• Rapporto Geometrico: Il rapporto tra distanza inter-dominio e intra-dominio è migliorato da 1,05× (pre-addestrato) a 1,63× (Passaggio 1) e infine 2,30× (BODHI). Un rapporto >1,5 è identificato come la soglia per un ragionamento su grafi affidabile.
• Gap di Discriminazione: Il gap tra coppie non correlate e correlate è passato da +0,013 (PubMedBERT pre-addestrato) a +0,392 (BODHI).
• Correlazione BIOSSES: PubMedBERT Pass 1 ha raggiunto una correlazione di rango di 0,828 con i punteggi clinici, superando la soglia di 0,80 per un forte accordo.
• Accuratezza Cross-Domain: I modelli pre-addestrati hanno ottenuto lo 0% nella discriminazione cross-dominio. BODHI ha raggiunto un F1 score del 93,0% con una soglia di coseno di 0,40, rispetto al massimo del 72,7% per i modelli pre-addestrati.
• Architettura del Modello: BioBERT e PubMedBERT (basati su BERT) hanno risposto bene al fine-tuning. BioM-ELECTRA, nonostante l'alta similarità grezza, ha fallito nel rimodellarsi in un embedder utilizzabile (l'F1 è rimasto basso), indicando che gli obiettivi di pre-addestramento di estrazione di span non si traducono in compiti di embedding causale.

3.2 Prestazioni e Latenza

• Riduzione della Latenza: Sul server AMX, OpenVINO ha ridotto la latenza della singola query da 1.367 ms (PyTorch) a 10 ms (un incremento di 133×) mantenendo una fedeltà del coseno >0,994.
• Throughput: Il modello fine-tuned ha raggiunto 555 frasi al secondo con un batch di 512.
• AMX vs. Non-AMX: Il server AMX era 13–27× più veloce del riferimento Ice Lake. Fondamentalmente, mentre Ice Lake poteva usare INT8 per la velocità, questa quantizzazione ha appiattito il gap di discriminazione, mantenendo solo il 17–50% del segnale. Su AMX, FP16/BF16 ha mantenuto la piena fedeltà del segnale con una velocità superiore.

4. Significato e Rivendicazioni

Il documento afferma che per i Large Behavioural Models, la geometria dell'embedding è correttezza, non solo un parametro di tuning. Gli autori sostengono che:

1. La Scoperta Causale Richiede Separazione: Il recupero standard tollera alti livelli di rumore; il ragionamento su grafi no. Il metodo proposto BODHI separa con successo gli eventi cross-dominio causamente non correlati, consentendo all'LBM di ipotizzare archi senza inventare connessioni.
2. Apprendimento Guidato dall'Ontologia: L'addestramento sugli "archi assenti" in un grafo di conoscenza è una strategia ad alto potenziale per migliorare la discriminazione degli embedding, generalizzando oltre il dominio biomedico a qualsiasi ontologia strutturata.
3. Deployment Specifico per l'Hardware: Lo studio fornisce un risultato contro-intuitivo per l'hardware Intel AMX: FP16 è superiore a INT8 per gli embedder di classe BERT alle dimensioni di produzione, a causa degli overhead di dequantizzazione e della preservazione del gap di discriminazione.
4. Riproducibilità: Gli autori rilasciano l'intera suite di benchmark (B1–B6), il corpus di 72k coppie, il generatore BODHI, gli script di addestramento e i pesi ottimizzati, con l'obiettivo di risolvere un fallimento sistemico nel campo della scoperta causale cross-dominio piuttosto che creare un vantaggio proprietario.

Il documento conclude che, sebbene passare dalla correlazione alla causalità nelle popolazioni richieda trial randomizzati, per un LBM individuale, ciò è in gran parte una questione di geometria degli embedding. Correggendo la geometria, la traversata del grafo può funzionare correttamente; senza di essa, il ragionamento a valle è fondamentalmente errato.