🤖 machine learning

Toward Machine Learning with the Unit as a Primitive: Learning from Unit-Linked Events

Cet article propose de formaliser l'apprentissage automatique en introduisant explicitement l'« unité » comme une entité sémantique primitive, définissant l'apprentissage supervisé comme l'inférence d'une loi de réponse partagée conditionnée par un jeton d'unité généré par un tokenizer afin de distinguer les modèles de monde homogènes des modèles de monde hétérogènes.

Auteurs originaux : Heyang Gong

Publié 2026-08-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Heyang Gong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'apprentissage automatique, les ordinateurs sont souvent enseignés en examinant des lignes de données, un peu comme un étudiant révisant une pile de fiches de révision. Chaque fiche contient une question et une réponse, et le travail de l'ordinateur est de trouver le modèle qui les relie. Pendant des décences, cette méthode a remarquablement bien fonctionné pour de nombreuses tâches, de la reconnaissance des visages à la prédiction de la météo. Cependant, cette approche traite chaque fiche comme un événement isolé, ignorant une vérité fondamentale sur le monde réel : beaucoup de ces fiches appartiennent en réalité à la même personne, au même animal ou au même appareil. Lorsqu'un ordinateur apprend de l'historique médical d'un patient, des habitudes d'achat d'un utilisateur ou des relevés d'un capteur, il voit souvent plusieurs instantanés du même individu persistant. Les méthodes standards traitent généralement ces instantanés comme des entrées distinctes et sans lien, ou s'appuient sur des hypothèses cachées que l'ordinateur se contente de deviner. Cela crée un angle mort. Si l'ordinateur ne peut pas distinguer un motif appartenant à un individu spécifique d'un motif commun à tout le monde, il peut échouer lorsqu'on lui demande de prédire ce qui arrivera à cette même personne dans une nouvelle situation, ou il pourrait confondre une particularité unique d'une personne avec une règle universelle.

Un nouvel article propose une façon de corriger cela en changeant le fondement même de la définition de ces tâches d'apprentissage. Au lieu de partir d'une liste d'enregistrements, les chercheurs suggèrent de partir du concept d'« unité » — l'individu persistant auquel appartient la donnée. Imaginez une bibliothèque où, au lieu de simplement cataloguer les livres, le bibliothécaire identifie d'abord le lecteur spécifique qui les a empruntés. Dans ce nouveau cadre, l'ordinateur est d'abord informé de l'identité de l'individu, ou du moins reçoit une règle claire pour décider quand deux données appartiennent à la même personne. Ce simple changement permet à l'ordinateur de comprendre que si les événements (les questions et les réponses) changent, la personne sous-jacente reste la même. Les chercheurs montrent qu'en faisant de cette « unité » une partie explicite du problème, les machines peuvent apprendre un ensemble de règles partagées qui s'appliquent à tout le monde, tout en respectant les différences uniques de chaque individu.

Le cœur de cette découverte est un processus en deux étapes que l'ordinateur utilise pour donner un sens au monde. Premièrement, il agit comme un traducteur, prenant les preuves brutes concernant une personne — telles que son comportement passé ou ses caractéristiques physiques — et les convertissant en un résumé compact, que l'auteur appelle un « jeton » (token). Considérez ce jeton comme une carte d'identité unique que l'ordinateur crée à la volée pour représenter cet individu spécifique. Deuxièmement, l'ordinateur utilise un ensemble unique et partagé de règles pour lire cette carte d'identité et prédire ce qui va se passer ensuite. C'est une distinction cruciale. Dans les anciennes méthodes, l'ordinateur pourrait essayer de mémoriser un ensemble de règles distinct pour chaque personne rencontrée, ce qui est impossible s'il rencontre quelqu'un qu'il n'a jamais vu auparavant. Dans cette nouvelle approche, l'ordinateur apprend un seul manuel de règles universel. Il consulte simplement la carte d'identité (le jeton) pour voir comment cette personne spécifique s'insère dans le schéma général. Cela permet au système de généraliser : il peut faire des prédictions précises pour une nouvelle personne qu'il n'a jamais rencontrée, simplement en créant un jeton pour elle sur la base des preuves dont il dispose, puis en appliquant les mêmes règles partagées qu'il a apprises de tout le monde.

Les chercheurs ont également exploré ce qui se passe lorsque l'ordinateur ne sait pas exactement qui est la personne. Parfois, les données sont incomplètes, ou le lien entre deux enregistrements est incertain. Dans ces cas, l'ordinateur ne peut pas simplement chercher un nom dans une base de données. Au lieu de cela, il utilise les preuves disponibles pour former une meilleure supposition sur l'identité de la personne, créant un jeton qui reflète cette incertitude. L'article prouve que même avec cette conjecture, le système peut toujours apprendre efficacement, à condition de séparer l'acte d'identifier la personne de l'acte de prédire le résultat. L'étude démontre que si vous regardez seulement des enregistrements isolés sans savoir à qui ils appartiennent, vous ne pouvez pas faire la différence entre un monde où tout le monde est exactement identique et un monde où tout le monde est différent mais se ressemble en moyenne. Cependant, si vous pouvez lier plusieurs enregistrements à la même personne avec certitude, l'ordinateur peut détecter les différences cachées entre les individus. Cette conclusion est vitale car elle fixe une limite claire de ce qui est possible : une machine ne peut pas apprendre les différences individuelles si on ne lui montre que des instantanés isolés de chaque personne sans aucun moyen de les relier à leur source.

Ce travail clarifie également la manière dont nous devons mesurer le succès. Dans de nombreux systèmes actuels, nous jugeons un modèle par sa capacité à prédire le résultat moyen sur l'ensemble des données. L'auteur montre que cela peut être trompeur. Si certaines personnes apparaissent dans les données de nombreuses fois et d'autres une seule fois, une simple moyenne peut être dominée par les utilisateurs fréquents, ignorant les besoins uniques des plus rares. Le papier suggère que nous devons évaluer les modèles en fonction de l'individu, et non seulement de l'enregistrement. Cela signifie vérifier si le modèle peut prédire ce qui arrivera à une personne spécifique dans une nouvelle situation, plutôt que de simplement obtenir les statistiques globales correctes. Les chercheurs fournissent une liste de contrôle pour concevoir correctement ces tests, garantissant que nous n'incitons pas accidentellement l'ordinateur à mémoriser des noms au lieu d'apprendre des modèles.

En fin de compte, cet article offre une manière plus honnête de construire des systèmes intelligents. Il reconnaît que le monde est composé d'individus persistants, et non de simples flux d'événements déconnectés. En forçant l'ordinateur à déclarer qui il apprend avant de commencer à deviner les réponses, le système devient plus robuste et plus capable de gérer la complexité de la vie réelle. Il ne prétend pas avoir résolu tous les problèmes de l'intelligence artificielle, mais il fournit un cadre logique et solide pour comprendre comment les machines peuvent apprendre des êtres humains sans perdre de vue qui sont ces personnes. Le résultat est une méthode qui est non seulement mathématiquement cohérente, mais aussi conceptuellement plus claire, comblant le fossé entre la réalité désordonnée des données humaines et la logique structurée de l'apprentissage automatique.

Résumé technique : Vers l'apprentissage automatique avec l'unité comme primitive

Énoncé du problème

Les formalisations classiques de l'apprentissage supervisé commencent généralement par un ensemble de données de registres $D = \{(x_i, y_i)\}_{i=1}^N$ et une application $f: \mathcal{X} \to \mathcal{Y}$ . Dans cette notation, l'indice $i$ identifie un enregistrement, et non l'individu persistant (l'« unité ») auquel cet enregistrement se réfère. Bien que cette omission soit sans conséquence pour les questions au niveau de la ligne, elle devient cruciale lorsque des événements partagent un même individu, lorsque les requêtes changent tout en maintenant un individu fixe, ou lorsque l'attribution à une entité spécifique est incertaine.

De manière cruciale, la formulation standard laisse sans réponse la question de savoir si différents individus partagent une loi de réponse unique ou si la loi observée au niveau de la ligne n'est qu'un regroupement marginal de relations distinctes conditionnées par l'unité. Les traditions existantes — telles que les modèles à mesures répétées, les cadres de résultats potentiels et les systèmes de recommandation — traitent ces problèmes localement avec des hypothèses spécifiques, mais manquent d'une primitive sémantique unifiée qui élève le référent persistant au cœur du problème d'apprentissage.

Méthodologie : L'unité comme primitive

Le document propose d'élever l'unité ( $U$ ) au rang de primitive explicite au niveau de la sémantique de la tâche. Une tâche d'apprentissage est définie par la déclaration de :

Une population de référents persistants ( $\mathcal{U}$ ).
Un critère de similitude (quand les événements concernent le même référent).
L'étendue sur laquelle cette relation est conservée.

La valeur réalisée $U=u$ désigne un référent sélectionné. L'objet sémantique de l'apprentissage supervisé est alors une famille de lois de réponse conditionnées par l'unité :
$u \mapsto \left[ x \mapsto P^*_u(dy | x) \right]$
où $P^*_u(dy | x) := P^*(Y \in dy | X=x, U=u)$ . Changer $x$ revient à interroger un emplacement sur la même surface de réponse pour une unité fixe ; changer $u$ revient à sélectionner un membre différent de la famille.

Pour rendre cette famille apprenable à partir de données finies, le document introduit une factorisation computationnelle (Hypothèse 1) et une classe structurée :

Jeton contextuel d'unité ( $Z^c_u$ ) : Un tokenizer $T_\phi$ produit une représentation côté apprenant à partir de preuves factuelles $O$ et du contexte $c$ . Ce jeton assure la médiation de tous les chemins allant de l'unité à la prédiction.
Forme de loi de réponse partagée ( $R_\theta$ ) : Toutes les unités partagent un mécanisme de réponse unique $R_\theta$ qui lit le jeton. La classe structurée exige que $R_\theta$ dépende du jeton $z$ uniquement par l'intermédiaire d'une application de faible complexité déclarée (par exemple, un prédicteur linéaire).

L'objet appris est la paire $(T_\phi, R_\theta)$ . Le tokenizer organise les régularités spécifiques à l'unité dans un espace de jetons simple, permettant à la forme partagée de généraliser.

Modes d'accès

Le document distingue deux modes d'accès à l'unité :

Accès direct à l'unité : Un résolveur fiable utilise une clé $k$ pour fixer le référent $u(k)$ et fournir un jeton de recherche (par exemple, un plongement appris $z_\theta(k)$ ). Cela élimine l'incertitude liée à « quelle unité », mais laisse l'erreur d'approximation du jeton et de la forme.
Abduction de l'unité : Lorsqu'aucun résolveur n'identifie l'unité, un jeton est formé à partir de preuves factuelles $O$ via $Z^c = T_\phi(O, c)$ . Ce jeton sert de représentation contextuelle, qui peut être interprétée comme une estimation a posteriori de l'identité dans des spécialisations spécifiques (par exemple, les apprenants à mélange d'identités).

Contributions clés

Formalisation de l'unité : Le document formalise l'unité comme une primitive de population déclarée par la tâche, séparant le référent persistant de l'enregistrement de l'événement. Il précise qu'un échantillon enregistre un événement, tandis que la tâche déclare le référent auquel appartiennent les événements.
Interface de forme partagée : Il établit une interface de forme partagée (Hypothèse 1) où la classe structurée est une relation simple dans le jeton. L'instance courante est un prédicteur linéaire (Définition 2), où l'objet appris est la paire $(T_\phi, R_\theta)$ .
Décomposition de la valeur prédictive : Le document sépare la valeur prédictive de l'oracle, l'accessibilité des preuves, l'approximation de l'apprenant et l'identifiabilité des composantes. Il établit que l'ajustement marginal au niveau de la ligne ne permet pas d'identifier la structure interne de l'unité.
Résultats d'impossibilité et de séparation : Il prouve que des observations de lignes uniques non liées ne peuvent pas distinguer un monde d'unités hétérogènes d'un monde homogique agrégé. Inversement, des paires fiables de même unité (observations liées) peuvent séparer ces mondes en exposant la covariance intra-unité.

Résultats formels et bornes théoriques

Décomposition Valeur–Accès

Sous la perte log (log loss), le document décompose la valeur prédictive oracle de l'information de l'unité ( $V_{oracle}$ ) en une valeur accessible ( $V_{accessible}$ ) et une valeur résiduelle ( $V_{residual}$ ) :
$R^*_W - R^*_{U,W} = (R^*_W - R^*_{O,W}) + (R^*_{O,W} - R^*_{U,W})$
où $R^*_W$ est le risque sans information sur l'unité, $R^*_{O,W}$ est le risque avec l'évidence $O$ , et $R^*_{U,W}$ est le risque oracle avec une connaissance parfaite de l'unité. Le terme résiduel représente l'information sur l'unité qui est prédictivement précieuse mais inaccessible compte tenu de l'évidence déclarée.

Bornes d'erreur de bout en bout

L'erreur prédictive déployée est bornée par la somme de l'erreur de croyance sur l'unité et de l'erreur de réponse pour une unité fixe. Plus précisément, la divergence de Kullback-Leibler entre la marginale réelle et la marginale apprise est bornée par :
$E_{pred} \leq E_O [ D_{KL}(P(\cdot|O) \| Q_\phi(\cdot|O)) ] + E_{O,W} \left[ \int D_{KL}(K_{u,W} \| \hat{K}_{u,W}) P(du|O) \right]$
Cela sépare l'erreur découlant d'une identification imparfaite de l'unité (erreur de croyance) de l'erreur dans la modélisation de la loi de réponse pour une unité fixe.

Impossibilité de la ligne unique

La Proposition 4 démontre que dans une classe de noyau de réponse non restreinte, toute loi de type échantillon $R(dy|x)$ possède une représentation constante par rapport à l'unité $K^R_u(dy|x) = R(dy|x)$ . Par conséquent, l'ajustement marginal seul ne peut identifier si le monde est homogène ou hétérogène.

Indistinguabilité : Si les observations proviennent d'unités fraîches et non liées, un monde hétérogène (où les unités ont des probabilités de réponse différentes) est statistiquement indiscernable d'un monde homogène (où toutes les unités partagent la même probabilité) sur la base des marginales de lignes uniques.
Séparation : Des paires de même unité fiables (liaison répétée) permettent l'identification de la variance des paramètres spécifiques à l'unité ( $Var(p_U)$ ) via la covariance intra-unité, séparant ainsi les deux mondes.

Implications pour l'évaluation

Le document dérive des corollaires pour les protocoles d'évaluation :

Pondération : Les risques empiriques pondérés par la ligne et pondérés par l'unité ne concordent que si toutes les unités observées ont une multiplicité de registres égale.
Division (Splitting) : Une division par enregistrement mélange la prédiction de nouveaux événements pour des unités connues avec la prédiction pour des unités non vues. Pour cibler la généralisation aux unités non vues, une division explicitement disjointe par unité est requise.

Signification et portée

Le document affirme que l'apprentissage automatique apprend une structure partagée à travers des unités déclarées par la tâche à partir d'événements liés à l'unité et observés de manière sélective et bruitée. Sa contribution principale est un cadre sémantique et computationnel qui traite explicitement le référent persistant.

Revendications modestes : L'auteur souligne que l'Hypothèse 1 est une interface de calcul, et non un théorème d'apprenabilité. Le document ne prouve pas qu'une règle d'apprentissage spécifique pousse les pénalités d'approximation vers zéro ; il définit plutôt les conditions sous lesquelles une forme partagée est assez simple pour généraliser.
Distinction avec les travaux existants : Le cadre ne remplace pas l'apprentissage statistique classique ou l'inférence causale, mais ajoute une question explicite : comment un tokenizer organise les unités de sorte qu'une forme de loi de réponse partagée puisse généraliser. Il distingue la variation de l'unité de la variation de l'environnement (adaptation de domaine) et clarifie que « l'abduction de l'unité » (formation d'un jeton à partir de l'évidence) est distincte de l'abduction causale classique (inférence du bruit exogène).
Implications pratiques : Les résultats formels indiquent que les observations de lignes uniques non liées ne peuvent pas valider la structure de l'unité. Une liaison fiable de même unité est nécessaire pour séparer les mondes hétérogènes des mondes homogènes. De plus, l'évaluation doit distinguer les estimands au niveau de la ligne et au niveau de l'unité, ainsi que la généralisation aux unités connues et aux unités non vues.

Le document conclut que lorsque la préservation de l'unité ne modifie ni la cible, ni l'estimand, ni le protocole d'évaluation déclarés, la formulation marginale de l'unité est suffisante. Cependant, lorsque la persistance, l'attribution ou l'évaluation au niveau de l'unité sont importantes, l'unité doit être déclarée comme une primitive pour structurer correctement le problème d'apprentissage.