Doubly robust nearest neighbors in factor models

Dans le vaste paysage des données modernes, l'information est rarement complète. Qu'il s'agisse de suivre la santé d'un patient sur plusieurs mois, de prédire ce qu'un client pourrait acheter ensuite ou de comprendre comment un produit performe dans différentes régions, les chercheurs sont souvent confrontés à une matrice de nombres présentant des lacunes importantes. Certaines entrées sont manquantes parce qu'un capteur est tombé en panne, qu'un utilisateur a sauté une enquête ou qu'un traitement n'a pas été appliqué. Le défi consiste à combler ces vides avec suffisamment de précision pour prendre des décisions fiables. Pour ce faire, les statisticiens s'appuent souvent sur l'idée que le monde est régi par des motifs cachés. Ils supposent que les données que nous voyons sont façonnées par quelques forces sous-jacentes — comme la préférence générale d'un utilisateur ou un moment spécifique de la journée — qui se répètent à travers l'ensemble des données. Si nous pouvons trouver ces motifs cachés, nous pouvons deviner ce que les nombres manquants devraient être.

Pendant des décennies, une façon populaire de faire ces conjectures a été de chercher des « voisins ». Si vous voulez savoir ce qu'un utilisateur spécifique penserait d'un produit, vous regardez d'autres utilisateurs qui lui sont très similaires et voyez ce que ces voisins ont aimé. C'est la logique des plus proches voisins. Cependant, cette méthode présente une faille fatale : elle ne fonctionne que si vous pouvez réellement trouver un bon voisin. Si l'utilisateur en question est unique, ou si la période de temps est inhabituelle, la méthode échoue car il n'y a personne d'assez similaire pour copier. Les nouveaux travaux de Raaz Dwivedi et de ses collègues abordent cette vulnérabilité en créant une manière plus intelligente de combiner deux types différents de recherches de voisinage. Au lieu de s'appuyer sur un seul type de similitude, leur nouvelle méthode, appelée « Doubly Robust Nearest Neighbors » (plus proches voisins doublement robustes), réussit tant qu'un utilisateur similaire ou une période de temps similaire est disponible. Si les deux existent, la méthode devient encore plus précise, offrant un niveau de précision qui était auparavant hors de portée.

Les chercheurs travaillaient sur un casse-tête mathématique spécifique connu sous le nom de complétion de matrice, où l'objectif est de reconstruire une grille de données complète à partir d'une collection éparse de points observés. Ils se sont concentrés sur un scénario où les données sont générées par une fonction cachée qui mélange deux ensembles de facteurs : un ensemble représentant les « unités » (comme des personnes ou des produits) et un autre représentant le « temps » (comme des jours ou des heures). Dans cette configuration, la valeur à n'importe quelle intersection spécifique est déterminée par la façon dont les traits cachés de l'unité interagissent avec les traits cachés du temps. L'approche standard implique deux stratégies distinctes. La première, appelée « unit-nearest neighbors » (voisins les plus proches de l'unité), cherche d'autres lignes dans les données qui ressemblent à la ligne cible. La seconde, appelée « time-nearest neighbors » (voisins les plus proches du temps), cherche d'autres colonnes qui ressemblent à la colonne cible. Les deux stratégies fonctionnent bien lorsque les données sont denses en motifs similaires, mais elles peinent lorsque les données sont éparses ou lorsque la cible est une anomalie.

L'équipe a réalisé que ces deux stratégies n'étaient pas mutuellement exclusives mais pouvaient être combinées pour couvrir les faiblesses de l'une et de l'autre. Ils ont développé un nouvel estimateur qui pose efficacement deux questions à la fois : « Ai-je un utilisateur similaire ? » et « Ai-je un temps similaire ? ». Si la réponse à l'une ou l'autre de ces questions est oui, la nouvelle méthode produit une estimation fiable. C'est ce qu'ils entendent par « doublement robuste ». Elle est robuste à l'échec de la première stratégie tant que la seconde fonctionne, et vice versa. Les chercheurs ont prouvé mathématiquement que si les deux stratégies trouvent de bons voisins, la nouvelle méthode ne se contente pas de moyenner leurs résultats ; elle multiplie leurs forces. Cela conduit à une amélioration spectaculaire de la précision, réduisant le taux d'erreur de manière bien plus significative que l'une ou l'autre des méthodes ne pourrait le faire seule. En termes techniques, cette amélioration se traduit par une réduction quasi quadratique de l'erreur, ce qui signifie que l'estimation devient beaucoup plus nette avec très peu de données supplémentaires.

Pour vérifier leur théorie, les chercheurs ont mené des simulations approfondies utilisant des données synthétiques qui imitaient des scénarios du monde réel, incluant des relations linéaires simples et d'autres plus complexes et non linéaires. Ils ont testé leur nouvelle méthode contre les approches traditionnelles de « unit-nearest neighbors », de « time-nearest neighbors » et d'autres algorithmes standards de complétion de matrice. Les résultats étaient clairs : la nouvelle méthode surpassait systématiquement les autres. Dans les cas où les données étaient générées par une règle linéaire simple, la nouvelle méthode réduisait l'erreur par un facteur qui croissait avec la taille de l'ensemble de données, dépassant de loin les performances des anciennes méthodes. Même dans des scénarios plus complexes où les relations entre les facteurs étaient non linéaires, cette nouvelle approche conservait un avantage significatif, égalant ou battant souvent les meilleures méthodes traditionnelles tout en évitant leurs pires échecs.

L'équipe a également appliqué sa méthode à un ensemble de données réelles provenant d'un essai clinique de santé mobile appelé HeartSteps. Dans cette étude, les participants portaient des trackers d'activité et recevaient des notifications aléatoires pour encourager l'activité physique. L'objectif était d'estimer le nombre de pas qu'un participant ferait en une heure s'il recevait une notification par rapport au cas où il n'en recevrait pas, même pour les moments où cette condition spécifique n'était pas observée. Les données étaient naturellement éparses car les notifications étaient envoyées de manière aléatoire. Lorsque les chercheurs ont utilisé leur nouvelle méthode « Doubly Robust Nearest Neighbors » pour combler ces lacunes, les estimations étaient plus précises que celles produites par les méthodes standards. La distribution de l'erreur était plus resserrée, ce qui signifie que les conjectures étaient systématiquement plus proches des valeurs réelles. Cela a démontré que la méthode fonctionne non seulement en théorie ou sur des chiffres générés par ordinateur, mais aussi sur des données réelles et désordonnées où l'information manquante est la norme.

Une observation clé de l'étude concernait le compromis impliqué dans le traitement des données. Pour prouver leurs garanties mathématiques, les chercheurs ont initialement divisé les données en segments distincts afin d'éviter un type spécifique de biais statistique. Cependant, dans leurs expériences pratiques, ils ont constaté que l'utilisation de l'ensemble du jeu de données, sans division, produisait de meilleurs résultats. Bien que la division des données ait aidé à la preuve théorique, elle réduisait la quantité d'informations disponibles pour trouver des voisins, ce qui augmentait le bruit dans l'estimation. En pratique, le bénéfice de disposer de plus de données pour trouver des similitudes l'emportait sur le risque théorique de biais, suggérant que pour les applications réelles, l'utilisation de toute l'information disponible est souvent le choix supérieur.

Les implications de ce travail vont au-delà du simple remplissage de nombres manquants. La capacité de produire des estimations fiables même lorsque les données sont éparses ou hétérogènes est cruciale pour des domaines tels que la médecine personnalisée et la publicité ciblée. Dans ces domaines, les décisions sont souvent prises pour des individus qui sont uniques ou pour des situations qui n'ont pas encore été rencontrées. Si une méthode échoue parce qu'elle ne peut pas trouver de correspondance parfaite, les conséquences peuvent être des recommandations inappropriées ou des traitements inefficaces. En garantissant que le processus d'estimation reste robuste même lorsqu'un type de similitude est absent, cette nouvelle approche offre un filet de sécurité pour la prise de décision. Elle permet aux systèmes d'apprendre à partir des données qui sont disponibles, plutôt que d'échouer parce que les données ne sont pas parfaitement structurées.

Les chercheurs ont également noté que leur approche pouvait être étendue à des structures de données plus complexes, telles que les tenseurs tridimensionnels, qui pourraient impliquer des unités, le temps et un troisième facteur comme une intervention ou un lieu spécifique. La logique consistant à combiner plusieurs sources de similitude pour créer une estimation robuste pourrait également être appliquée là, menant potentiellement à des méthodes « triplement robustes ». Cela suggère une voie plus large pour l'inférence statistique, où l'accent passe de la recherche d'une correspondance parfaite unique à la combinaison intelligente de plusieurs sources d'informations imparfaites. Ce travail est une démonstration qu'en repensant la façon dont nous combinons des idées simples et intuitives comme « trouver un voisin », nous pouvons construire des outils qui sont bien plus résilients et précis que la somme de leurs parties.

En fin de compte, cet article offre une solution pratique à un problème courant : comment donner du sens à une information incomplète. Il montre que nous n'avons pas besoin d'attendre des données parfaites ou une correspondance parfaite pour faire une bonne conjecture. En reconnaissant que différents types de similitudes existent et en apprenant à les utiliser ensemble, nous pouvons construire des modèles qui sont plus fiables face à l'incertitude. La méthode est simple dans sa logique mais puissante dans son exécution, établissant une nouvelle norme pour la gestion des données manquantes dans un monde de plus en plus piloté par des ensembles de données vastes et complexes.