📊 statistics

Analysis of Linked Files: A Missing Data Perspective

Cet article propose de traiter le problème du lien de fichiers comme un problème de données manquantes, en catégorisant, évaluant et résumant les hypothèses et limites des méthodes d'analyse correspondantes (méthodes de vraisemblance et bayésiennes, imputation et pondération) face aux erreurs de liaison.

Auteurs originaux : Gauri Kamat, Roee Gutman

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gauri Kamat, Roee Gutman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le casse-tête des dossiers perdus

Imaginez que vous êtes un détective privé. Vous avez deux énormes classeurs remplis de dossiers sur des personnes.

Le classeur A contient des informations sur la santé (maladies, médicaments).
Le classeur B contient des informations sur les revenus (salaire, impôts).

Votre but est de savoir si la santé d'une personne influence ses revenus. Pour cela, vous devez trouver les mêmes personnes dans les deux classeurs et coller leurs dossiers ensemble.

Le problème ? Personne n'a de numéro de sécurité sociale unique (comme un code-barres universel) pour identifier tout le monde. Vous devez vous fier à des indices imparfaits : le nom, l'adresse, la date de naissance.

C'est là que ça coince :

Les erreurs de nom : "Jean Dupont" dans un dossier peut être écrit "J. Dupont" ou "Jean Dupont" dans l'autre.
Les erreurs de liaison : Votre cerveau (ou un algorithme) peut penser que "Jean Dupont" et "Jean Dupont" sont la même personne, alors que ce sont deux voisins différents. Ou pire, il peut rater le vrai Jean Dupont parce qu'il a fait une faute de frappe.

Si vous faites ces erreurs et que vous analysez les données sans vous en rendre compte, vos conclusions seront faussées. C'est comme si vous mélangez les recettes de cuisine de deux chefs différents et que vous essayez de deviner quel chef est le meilleur : le résultat sera un plat infect !

La Solution : Voir les erreurs comme des "pièces manquantes"

Les auteurs de l'article (Gauri Kamat et Roee Gutman) proposent une idée géniale : ne pas essayer d'éliminer les erreurs, mais de les accepter comme des données manquantes.

Imaginez que le lien entre les deux dossiers est une pièce d'un puzzle que vous ne voyez pas. Au lieu de deviner à l'aveugle où elle va, vous utilisez les mathématiques pour dire : "Il y a 90 % de chances que ce soit Jean, mais 10 % que ce soit un autre. Prenons les deux possibilités en compte."

L'article classe les méthodes pour gérer ce casse-tête en trois grandes familles, comme trois façons différentes de résoudre un énigme :

1. Les "Super-Cerveaux" (Méthodes Bayésiennes et de Vraisemblance)

C'est comme si vous aviez un détective très intelligent qui ne se contente pas de coller les dossiers. Il imagine tous les scénarios possibles.

Il dit : "Si c'est le cas A, alors la relation santé-revenu est X. Si c'est le cas B, c'est Y."
Il calcule la probabilité de chaque scénario et fait une moyenne pondérée.
Avantage : Très précis, il ne perd aucune information.
Inconvénient : C'est très lent et demande beaucoup de puissance de calcul (comme faire 10 000 calculs de tête pour une seule réponse).

2. Les "Copieurs" (Méthodes d'Imputation)

Imaginez que vous avez un photocopieur magique. Au lieu de décider une seule fois qui est qui, vous faites plusieurs copies du classeur final.

Dans la copie 1, vous reliez les dossiers d'une certaine façon.
Dans la copie 2, vous reliez les dossiers différemment (en suivant les probabilités).
Vous analysez chaque copie séparément, puis vous mélangez les résultats.
Avantage : C'est plus simple à comprendre et à faire tourner sur un ordinateur standard.
Inconvénient : Si le photocopieur fait une erreur systématique (il copie toujours la même mauvaise chose), vos résultats seront faussés.

3. Les "Pondérateurs" (Méthodes de Pondération)

C'est comme si vous aviez une balance. Vous savez que certains dossiers sont plus sûrs que d'autres.

Si vous êtes très sûr que le dossier A et B sont liés, vous leur donnez un poids lourd (ils comptent beaucoup).
Si vous n'êtes pas sûr, vous leur donnez un poids léger (ils comptent peu).
Avantage : Rapide et efficace pour les grandes études simples.
Inconvénient : Ça ne marche bien que si vous avez une idée très claire de la qualité de vos liens. Si vos hypothèses sont fausses, la balance penche du mauvais côté.

Ce que les auteurs ont découvert (Le Test)

Les auteurs ont créé des milliers de situations de simulation (comme des jeux vidéo où ils contrôlent tout) pour tester ces trois méthodes. Ils ont changé les règles du jeu :

Parfois, les dossiers se ressemblent beaucoup (facile à relier).
Parfois, ils se ressemblent peu (difficile).
Parfois, les erreurs sont aléatoires (comme un coup de chance).
Parfois, les erreurs sont liées à des choses cachées (comme si les gens avec un certain revenu changeaient souvent de nom, ce qui rend la liaison très difficile).

Leur verdict :

Si les dossiers sont faciles à relier et qu'il y a beaucoup de recoupements, toutes les méthodes fonctionnent bien.
Si les dossiers sont difficiles à relier (beaucoup d'erreurs ou de données manquantes), les méthodes "Super-Cerveaux" et "Copieurs" (Bayésiennes et Imputation) sont généralement plus robustes. Elles résistent mieux aux erreurs que les méthodes simples de pondération.
Le plus important : Il faut toujours vérifier si vos hypothèses sont bonnes. Si vous supposez que les erreurs sont aléatoires alors qu'elles ne le sont pas, toutes vos méthodes peuvent échouer.

En résumé

Ce papier nous dit : "Ne faites pas confiance aveuglément à l'ordinateur qui relie vos fichiers. Il va faire des erreurs. Au lieu de les ignorer, utilisez des méthodes statistiques qui prennent ces erreurs en compte, comme si vous disiez : 'Je ne suis pas sûr à 100 %, alors je vais calculer mon résultat en tenant compte de mon incertitude.'"

C'est une façon de dire : L'incertitude n'est pas un ennemi à cacher, c'est une donnée à intégrer pour avoir une vérité plus juste.

1. Problématique

Dans de nombreuses applications (santé, sciences sociales, statistiques officielles), les informations sur une même entité sont dispersées dans plusieurs fichiers de données. Lorsque des identifiants uniques (comme les numéros de sécurité sociale) ne sont pas disponibles pour des raisons de confidentialité, les chercheurs doivent recourir au reliement de dossiers (record linkage) basé sur des variables semi-identifiantes (noms, adresses, dates de naissance).

Cependant, les algorithmes de reliement probabiliste, bien que puissants, ne sont pas parfaits. Ils commettent deux types d'erreurs :

Faux positifs (False links) : Relier des enregistrements qui ne correspondent pas à la même entité.
Faux négatifs (False non-links) : Ne pas relier des enregistrements qui correspondent à la même entité.

L'analyse statistique standard des fichiers reliés ignore souvent ces erreurs de reliement, ce qui entraîne des biais significatifs (par exemple, une atténuation des coefficients de régression) et une surestimation de la précision (intervalles de confiance trop étroits). L'objectif de cet article est de traiter le reliement de dossiers comme un problème de données manquantes et de proposer des méthodes d'inférence qui propagent correctement l'incertitude liée au reliement dans l'analyse finale.

2. Méthodologie et Cadre Théorique

Les auteurs formalisent le problème en utilisant le cadre des données manquantes de Rubin (1976). L'état de reliement ( $\Delta_{ij}$ , indiquant si l'enregistrement $i$ du fichier A est lié à l'enregistrement $j$ du fichier B) est traité comme une variable latente discrète non observée.

2.1 Taxonomie des Mécanismes de Reliement

En s'inspirant des mécanismes de données manquantes (MCAR, MAR, MNAR), les auteurs définissent quatre mécanismes de reliement basés sur la dépendance entre la structure de reliement $\Delta$ et les variables des fichiers ( $L_A, L_B, Y_A, X_B$ ) :

Reliement fortement non informatif (SNL) : $\Delta$ dépend uniquement des variables de liaison ( $L_A, L_B$ ). Analogie : Données manquantes au hasard (MAR).
Reliement non informatif (NL) : $\Delta$ dépend de $L_A, L_B$ et des covariables $X_B$ , mais pas de la variable de résultat $Y_A$ .
Reliement faiblement non informatif (WNL) : $\Delta$ dépend de toutes les variables observées ( $L_A, L_B, Y_A, X_B$ ).
Reliement informatif (IL) : $\Delta$ dépend de variables non observées (liées à $Y_A$ et $X_B$ ). Analogie : Données manquantes non au hasard (MNAR). Ce mécanisme est le plus problématique car il induit des biais sélectifs.

2.2 Classification des Méthodes d'Inférence

L'article classe les méthodes d'analyse post-reliement en trois catégories principales :

Méthodes de Vraisemblance et Bayésiennes :
- Elles spécifient une vraisemblance complète incluant le processus de reliement et le modèle d'analyse.
- Sous l'hypothèse SNL, on utilise l'approche de moyennage de reliement (linkage averaging) ou des algorithmes MCMC (Gibbs, Metropolis-within-Gibbs) pour intégrer sur toutes les structures de reliement possibles.
- Sous WNL, on utilise des modèles conjoints où le modèle d'analyse informe le processus de reliement (effet de rétroaction), souvent via l'algorithme d'augmentation de données (DA).
Méthodes d'Imputation (Imputation Multiple - MI) :
- On génère $M$ imputations de la structure de reliement $\Delta$ à partir de sa distribution postérieure.
- Chaque fichier imputé est analysé séparément avec des méthodes standard, puis les résultats sont combinés selon les règles de Rubin.
- Cette approche est flexible mais nécessite que le modèle d'imputation soit « congenial » (compatible) avec le modèle d'analyse pour éviter des biais.
Méthodes de Pondération (Weighting) :
- Adaptées aux scénarios d'analyse secondaire (où l'analyste n'a pas accès aux fichiers bruts).
- Elles corrigent les estimateurs de régression en utilisant des matrices de poids basées sur les probabilités de reliement estimées (matrice $Q$ ).
- Des estimateurs comme celui de Lahiri-Larsen ou les estimateurs linéaires sans biais (BLUE) sont utilisés pour corriger le biais induit par les erreurs de reliement, sous l'hypothèse de reliement NL.

3. Contributions Clés

Cadre Unifié : L'article établit un lien théorique rigoureux entre le reliement de dossiers et la théorie des données manquantes, permettant de classifier les méthodes existantes et d'identifier leurs hypothèses sous-jacentes.
Définition des Mécanismes : La formalisation des mécanismes de reliement (SNL, NL, WNL, IL) fournit un langage commun pour discuter de la validité des inférences dans différents contextes.
Évaluation Comparative : Une vaste étude de simulation compare systématiquement sept méthodes (Bayésiennes, d'imputation, de pondération, et de vraisemblance) sous diverses conditions de chevauchement des fichiers, de qualité des variables de liaison et de mécanismes d'erreur.
Extension aux Modèles Complexes : L'article démontre l'application de l'imputation multiple à des analyses multivariées complexes, telles que l'analyse de clusters (modèles de mélanges), au-delà des simples modèles linéaires généralisés.

4. Résultats des Simulations

Les simulations couvrent deux scénarios : l'analyse primaire (accès aux fichiers bruts) et l'analyse secondaire (accès uniquement au fichier relié).

Impact des Mécanismes de Reliement :
- Sous les mécanismes SNL, NL et LCAR (reliement aléatoire complet), la plupart des méthodes (Bayésiennes, pondération, vraisemblance) produisent des inférences valides avec un faible biais et une couverture d'intervalle proche du nominal.
- Sous le mécanisme WNL, les méthodes qui intègrent le modèle d'analyse dans le processus de reliement (modèles conjoints Bayésiens comme KSG ou GT) surpassent les méthodes séparées.
- Sous le mécanisme IL (le plus défavorable), toutes les méthodes souffrent d'un biais accru et d'une couverture d'intervalle inférieure au nominal, bien que les méthodes Bayésiennes conjoints restent généralement les plus robustes.
Impact du Chevauchement (Overlap) :
- Lorsque le chevauchement entre les fichiers est faible (ex: 20 %), les méthodes Bayésiennes comme celle de Steorts (2015) maintiennent de bonnes performances, tandis que les méthodes d'imputation simple ou de pondération peuvent voir leur efficacité diminuer.
Analyse Secondaire :
- Les méthodes de pondération (Chambers) fonctionnent bien sous l'hypothèse d'échangeabilité des erreurs (ELE), mais leur performance se dégrade rapidement si les erreurs dépendent des covariables (WNL/IL).
- Les méthodes de mélange (GT, SLW) montrent une meilleure robustesse aux biais mais peuvent sous-estimer la variance si le mécanisme d'erreur est complexe.
Analyse de Clusters :
- L'exemple d'analyse de clusters montre que l'imputation multiple permet de récupérer avec précision les paramètres des mélanges (centres, variances, proportions) même avec des erreurs de reliement, à condition que les clusters soient bien séparés.

5. Signification et Perspectives

Cet article est une contribution majeure pour la communauté statistique travaillant sur les données liées. Il démontre que l'ignorance des erreurs de reliement est inacceptable pour une inférence valide.

Pratique : Les chercheurs doivent choisir leur méthode d'analyse en fonction de la nature supposée du mécanisme de reliement. Si le mécanisme est suspecté d'être informatif (IL), les méthodes conjointes Bayésiennes sont préférables.
Recherche Future : L'article identifie des lacunes importantes, notamment le manque de développement des méthodes post-reliement pour les modèles multivariés complexes (au-delà des GLM) et la nécessité de développer des analyses de sensibilité pour évaluer la robustesse des résultats face à des hypothèses de mécanisme de reliement incertaines.
Alternative à Bayésien : L'imputation multiple est présentée comme une alternative viable et moins coûteuse en calcul aux approches Bayésiennes complètes, bien que sa validité dans des scénarios complexes (non-congénialité) nécessite plus d'études.

En résumé, ce papier fournit une feuille de route méthodologique essentielle pour transformer le reliement de dossiers d'une étape de prétraitement naïve en un processus d'inférence statistique rigoureux intégrant l'incertitude.