Résumé Technique : La Corrélation ne suffit pas – Intégrer les Métadonnées Humaines pour la Découverte Causale Individuelle

1. Le Problème : L'Emboîtement de la Géométrie comme Critère de Justesse

Le papier traite d'un mode de défaillance critique lors du déploiement des Grands Modèles Comportementaux (LBM - Large Behavioural Models) pour la découverte causale individuelle. Contrairement aux systèmes de recherche standard où un modèle de langage en aval peut filtrer les résultats de plongement (embeddings) bruités, un LBM construit un graphe causal de la vie d'un utilisateur où la proximité des vectages sert de preuve directe pour l'hypothèse d'arêtes. Si l'espace d'embedding place des événements sans rapport (par exemple, « cortisol 28 µg/dL » et « volatilité du marché boursier ») à proximité en raison d'un chevauchement lexical de surface, le LBM inférera à tort des liens causaux, corrompant ainsi le modèle de vie de l'utilisateur.

Les auteurs démontrent que les encodeurs biomédicaux prêts à l'emploi (BioBERT, PubMedBERT, BioM-ELECTRA) échouent à répondre à cette exigence spécifique. Malgré une forte similarité intra-domaine, ces modèles présentent une anisotropie, regroupant les embeddings dans un cône étroit où des paires trans-domaines sans rapport atteignent des similitudes cosinus de 0,76 à 0,92. Par conséquent, la précision de la discrimination trans-domaine est exactement de 0 %, rendant les modèles pré-entraînés inutilisables pour le raisonnement causal basé sur des graphes.

2. Méthodologie

Les auteurs proposent une stratégie de réglage fin (fine-tuning) contrastive en deux étapes pour corriger la géométrie des embeddings, suivie d'un pipeline d'inférence optimisé pour le matériel.

2.1 Réglage Fin en Deux Passes

• Passe 1 (Entraînement Contrastif) : Les modèles sont affinés sur 72 034 triplets (ancre, positif, négatif difficile) tirés de huit ensembles de données publics (incluant BIOSSES, MedNLI et des revues psychologiques). L'entraînement utilise une Perte Matryoshka enveloppant une Perte de Classement de Négatifs Multiples (MNRL). Cette approche entraîne simultanément des dimensions imbriquées (768, 512, 256, 128, 64), permettant à un seul modèle de servir différentes tailles de vecteurs pour le stockage, la traversée et l'inférence sur appareil sans réentraînement.
• Passe 2 (BODHI) : Pour remédier aux limites des négatifs difficiles basés sur des heuristiques, les auteurs introduisent BODHI (Biomedical Ontology-Graph Hard-negative Inference). Cette passe extrait des négatifs difficiles à partir d'un graphe de connaissances biomédicales curaté. Les paires de concepts qui existent dans le graphe mais qui ne possèdent pas d'arête explicite (ou un chemin de longueur $\le$ 2) sont traitées comme des négatifs difficiles. Cela enseigne au modèle que l' absence d'une connexion validée par un expert du domaine est un signal fort de non-causalité, même si les mots de surface se chevauchent.

2.2 Optimisation du Matériel et de l'Inférence

L'étude évalue les performances sur deux plateformes Intel :

• Primaire : Intel Xeon 6737P (Granite Rapids) avec AMX (Advanced Matrix Extensions) natif pour la multiplication de matrices en BF16.
• Référence : AWS c6i.8xlarge (Ice Lake) sans AMX, s'appuyant sur l'AVX-512 VNI pour l'INT8.

Les auteurs utilisent OpenVINO pour l'inférence, exportant les modèles avec des poids FP16 et un runtime BF16. Ils contestent les conseils de déploiement standards en démontrant que l'FP16 surpasse l'INT8 sur le silicium AMX pour des tailles de lots (batch sizes) de service typiques. Bien que l'INT8 offre des gains de débit théoriques, le surcoût de déquantification requis pour les blocs d'attention et de feed-forward sur les unités scalaires annule ces bénéfices pour des batch sizes < 512. De plus, la quantification INT8 sur le matériel non-AMX (Ice Lake) détruit le signal de discrimination créé par le réglage fin, réduisant considérablement le ratio de géométrie.

3. Résultats Clés

3.1 Qualité des Embeddings

• Ratio de Géométrie : Le ratio de distance inter-domaine par rapport à intra-domaine est passé de 1,05× (pré-entraîné) à 1,63× (Passe 1) et enfin à 2,30× (BODHI). Un ratio > 1,5 est identifié comme le seuil pour un raisonnement de graphe fiable.
• Écart de Discrimination : L'écart entre les paires non liées et liées est passé de +0,013 (PubMedBERT pré-entraîné) à +0,392 (BODHI).
• Corrélation BIOSSES : PubMedBERT Passe 1 a atteint une corrélation de rang de 0,828 avec les scores cliniciens, dépassant le seuil de 0,80 pour un accord fort.
• Précision Trans-Domaine : Les modèles pré-entraînés ont obtenu un score de 0 % sur la discrimination trans-domaine. BODHI a atteint un score F1 de 93,0 % à un seuil de cosinus de 0,40, contre un maximum de 72,7 % pour les modèles pré-entraînés.
• Architecture de Modèle : BioBERT et PubMedBERT (basés sur BERT) ont bien répondu au réglage fin. BioM-ELECTRA, malgré une forte similarité brute, a échoué à se remodeler en un embedder utilisable (le F1 est resté faible), indiquant que les objectifs de pré-entraînement par extraction de segments ne se traduisent pas par des tâches d'embedding causal.

3.2 Performance et Latence

• Réduction de la Latence : Sur le serveur AMX, OpenVINO a réduit la latence par requête unique de 1 367 ms (PyTorch) à 10 ms (une accélération de 133×) tout en maintenant une fidélité de cosinus > 0,994.
• Débit : Le modèle affiné a atteint 555 phrases par seconde avec un batch de 512.
• AMX vs Non-AMX : Le serveur AMX était 13 à 27× plus rapide que la référence Ice Lake. Crucialement, alors qu'Ice Lake pouvait utiliser l'INT8 pour la vitesse, cette quantification a aplati l'écart de discrimination, ne conservant que 17 à 50 % du signal. Sur AMX, le FP16/BF16 a maintenu toute la fidélité du signal avec une vitesse supérieure.

4. Signification et Revendications

Le papier affirme que pour les Grands Modèles Comportementaux, la géométrie de l'embedding est la justesse, et non un simple bouton de réglage. Les auteurs soutiennent que :

1. La Découverte Causale Requiert la Séparation : La recherche standard tolère des niveaux de bruit élevés ; le raisonnement de graphe, non. La méthode BODHI proposée sépare avec succès les événements trans-domaines sans lien causal, permettant au LBM d'hypothétiser des arêtes sans inventer de connexions.
2. Apprentissage Guidé par l'Ontologie : L'entraînement sur les « arêtes absentes » dans un graphe de connaissances est une stratégie à fort levier pour améliorer la discrimination des embeddings, généralisant au-delà du domaine biomédical à toute ontologie structurée.
3. Déploiement Spécifique au Matériel : L'étude fournit un résultat contre-intuitif pour le matériel Intel AMX : le FP16 est supérieur à l'INT8 pour les embedders de classe BERT aux tailles de lots de production, en raison des surcoûts de déquantification et de la préservation de l'écart de discrimination.
4. Reproductibilité : Les auteurs publient la suite complète de tests (B1–B6), le corpus de 72k paires, le générateur BODHI, les scripts d'entraînement et les poids optimisés, visant à corriger un échec systémique dans le domaine de la découverte causale trans-domaine plutôt qu'à créer un rempart propriétaire.

Le papier conclut que si le passage de la corrélation à la causalité dans les populations nécessite des essais randomisés, pour un LBM individuel, cela relève largement de la géométrie de l'embedding. En corrigeant la géométrie, la traversée du graphe peut fonctionner correctement ; sans elle, le raisonnement en aval est fondamentalement erroné.