🤖 machine learning

Human Preference aligned Tabular Similarity

Cet article soutient que les méthodes actuelles d'encodage de données tabulaires, optimisées pour les tâches de prédiction, ne parviennent pas à s'aligner sur les préférences humaines pour la recherche de similitude, et propose une nouvelle procédure d'évaluation pour combler cette lacune en utilisant un cas d'utilisation de gestion du cycle de vie des produits (PLM).

Auteurs originaux : Frederik Hoppe, Astrid Franz, Marianne Michaelis, Lars Kleinemeier, Udo Göbel

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Frederik Hoppe, Astrid Franz, Marianne Michaelis, Lars Kleinemeier, Udo Göbel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous déambulez dans une immense bibliothèque magique où chaque livre est en réalité un tableur composé de chiffres et de mots. Dans cette bibliothèque, des robots ont pour mission de trouver des livres qui sont « similaires » à celui que vous tenez en main. Si vous ramassez un livre sur « comment réparer un grille-pain cassé », le robot doit vous tendre d'autres livres sur la réparation de grille-pain, et non des livres sur la pâtisserie ou la conduite automobile. C'est le monde des données tabulaires — ces grilles d'informations organisées qui font tourner nos entreprises, nos hôpitaux et nos usines. Les robots utilisent ce qu'on appelle des embeddings (plongements numériques), qui sont comme des codes magnétiques invisibles transformant chaque ligne de données en un point dans un espace géant à plusieurs dimensions. Plus deux points sont proches, plus le robot pense que les données sont similaires.

Pendant longtemps, les scientifiques ont appris à ces robots à devenir très doués pour deviner la réponse à une question spécifique, du type : « Cette pièce va-t-elle casser ? » ou « Quel est le prix ? ». Mais voici le piège : être doué pour deviner une réponse ne signifie pas toujours être doué pour trouver des choses qui semblent similaires pour un humain. Un robot peut penser que deux pièces sont des jumelles parce qu'elles contiennent toutes deux le chiffre « 5 », alors qu'un ingénieur sait qu'une est une vis et l'autre un boulon. Ce document pose une question très importante : comment s'assurer que ces robots trouvent des choses qui font réellement sens pour les différentes personnes qui les utilisent, comme des ingénieurs, des ouvriers d'usine ou des acheteurs ?

Le Problème : Quand les Robots se Trompent de « Vibe »

Les auteurs de ce document, travaillant avec une entreprise qui développe des logiciels de gestion du cycle de vie des produits, ont remarqué un fossé important. Ils ont constaté que, bien que les robots deviennent de plus en mieux capables de transformer des tableaux de données en ces codes magnétiques invisibles, nous n'avons pas de bonne méthode pour vérifier si ces codes correspondent à ce qui importe réellement aux humains.

Imaginez que vous demandiez à un robot de trouver des demandes de modification de type « similaire » pour une nouvelle pièce de voiture. Un ingénieur pourrait dire : « Elles sont similaires parce qu'elles concernent toutes deux le système de refroidissement du moteur. » Un ouvrier d'usine pourrait dire : « Non, elles sont similaires parce qu'elles nécessitent toutes deux la même machine à souder. » Un acheteur pourrait dire : « Elles sont similaires parce qu'elles provent du même fournisseur. »

Le document soutient que les méthodes actuelles pour tester ces robots reviennent à noter un élève uniquement sur ses résultats en mathématiques, alors que l'élève essaie de devenir poète. Les tests standards mesurent si le robot peut prédire correctement un nombre ou une catégorie, mais ils ne demandent pas : « L'utilisateur humain a-t-il trouvé le résultat utile ? » Les auteurs suggèrent que sans demander l'avis des humains, nous volons à l'aveugle. Nous pourrions avoir un robot techniquement parfait en mathématiques, mais incapable de comprendre les besoins humains.

La Solution : Un « Test de Goût » pour les Données

Pour corriger cela, les auteurs proposent un nouveau flux de travail qui ressemble un peu à un test de dégustation à l'aveugle pour la nourriture, mais appliqué aux données. Au lieu de simplement faire tourner le robot et d'espérer que tout se passe bien, ils suggèrent un processus en trois étapes pour obtenir le feedback humain :

La Configuration : D'abord, le robot crée ses codes magnétiques pour toutes les données et les stocke.
Le Choix : Un utilisateur humain se voit présenter un article spécifique (l'« ancre »), comme une pièce ou un ticket particulier. Le robot extrait ensuite une liste d'articles qu'il considère comme les correspondances les plus proches.
Le Vote : L'humain regarde l'article original et l'une des suggestions du robot côte à côte. Il donne ensuite une évaluation : « Identique », « Similaire », « Légèrement similaire » ou « Non similaire ».

Il ne s'agit pas d'une action ponctuelle. Les auteurs suggèrent de répéter l'opération encore et encore, en collectant des milliers de ces « votes ». Cela crée une carte de ce que différents groupes de personnes considèrent réellement comme similaire.

Ce Qu'Ils Ont Découvert : Chacun Voit le Monde Différemment

Pour tester leur idée, l'équipe a mené une petite étude pilote. Ils ont pris une liste de 20 « tickets » différents (comme des demandes d'aide ou de modifications) et ont demandé à trois personnes différentes de noter les 6 correspondances les plus proches trouvées par le robot pour chacun d'eux.

Les résultats ont été révélateurs. Sur 120 paires d'articles examinées, les trois personnes n'étaient d'accord sur la note que pour 63 paires (soit 52,5 %). Dans 52 paires (43,3 %), deux personnes étaient d'accord mais la troisième n'était pas d'accord ! Et dans 5 paires (4,2 %), les trois personnes avaient donné des notes différentes !

Cela prouve que la « similitude » n'est pas un fait unique et fixe. Elle dépend entièrement de qui vous êtes. Un ingénieur peut voir un motif qu'un acheteur ne perçoit pas, et vice versa.

L'équipe a ensuite testé 10 algorithmes de robot différents pour voir lequel était le meilleur pour deviner ce que ces humains attendaient. Voici le rebondissement : il n'y avait pas de « vainqueur » unique.

Pour l'Annotateur 1 et l'Annotateur 3, l'Algorithme 7 était le meilleur.
Mais pour l'Annotateur 2, l'Algorithme 4 était le meilleur.

Plus intéressant encore, la différence entre le « meilleur » et le « deuxième meilleur » pour l'Annotateur 2 était infime : un seul triplet (un groupe de trois éléments) sur 165. Cela suggère qu'avec un si petit nombre de votes, il est difficile d'être sûr à 100 % de quel robot est réellement le meilleur. Les auteurs soulignent que nous avons besoin de plus de données pour être convaincus, mais l'idée principale est claire : Un modèle unique ne convient pas à tous. Un robot parfait pour un ingénieur peut être inutile pour un acheteur.

Pourquoi Cela Importe pour la Confiance

Le document conclut que pour que l'IA soit véritablement digne de confiance, nous ne pouvons pas nous contenter de compter sur les mathématiques internes du robot. Nous devons construire un système où les humains peuvent constamment vérifier le travail du robot.

Ils mettent en avant quatre avantages clés de cette approche :

Équité : Cela garantit que le robot traite équitablement les différents groupes de personnes (comme les ingénieurs par rapport aux acheteurs), plutôt que de favoriser une seule perspective.
Transparence : Cela permet aux gens de comprendre pourquoi le robot a choisi un certain élément, rendant la « boîte noire » un peu moins obscure.
Robustesse : Cela aide à identifier les données désordonnées, comme les doublons ou les catégories confuses, que le robot pourrait mal interpréter.
Responsabilité : Cela crée une trace écrite des décisions humaines, ce qui est crucial si l'IA commet une erreur dans un secteur réglementé.

Les auteurs admettent que demander aux humains de faire cela est un travail difficile et chronophage. Ils ne prétendent pas avoir résolu le problème parfaitement pour le moment. Au contraire, ils appellent la communauté scientifique à commencer à utiliser ces « tests de goût humains » comme une partie standard de la construction de l'IA. Ils soutiennent que la confiance n'est pas quelque chose que l'on intègre dans le code une fois pour toutes ; c'est quelque chose que l'on construit en écoutant constamment les personnes qui utilisent le système.

Résumé technique : Alignement de la similitude tabulaire sur les préférences humaines

Problématique

Bien que les plongements (embeddings) tabulaires agnostiques aux tâches soient de plus en plus utilisés pour la recherche de similitude dans les systèmes industriels comme la gestion du cycle de vie des produits (PLM), un écart critique subsiste dans leur évaluation. Les approches d'embeddings dominantes actuelles sont optimisées pour des tâches de prédiction (classification, régression) plutôt que pour produire des classements de similitude qui s'alignent sur la préférence humaine. Les métriques standard de tâches en aval (ex. : précision, score F1) sont insuffisantes pour évaluer la fiabilité de la recherche de similitude car elles ne parviennent pas à capturer la « similitude perçue par l'humain ».

Dans les contextes industriels, la similitude est hautement subjective et dépend de l'utilisateur. Par exemple, dans un système PLM, un ingénieur peut définir la similitude selon des propriétés géométriques, un travailleur de production selon des processus de fabrication, et un acheteur selon l'origine du fournisseur. Par conséquent, un modèle d'embedding qui réussit sur des benchmarks de classification objectifs peut récupérer des plus proches voisins qui sont structurellement similaires mais sémantiquement dénués de sens pour des experts métier spécifiques. De plus, les métriques de recherche d'information (RI) existantes (ex. : MRR, NDCG) et les approches d'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) ne traitent pas de manière adéquate l'hétérogénéité des données tabulaires ou les préférences diverses, et souvent conflictuelles, des différents groupes d'utilisateurs.

Méthodologie

Les auteurs proposent un flux de travail d'évaluation concret conçu pour capturer l'alignement de la préférence humaine pour la similitude tabulaire. Ce flux de travail se compose de trois étapes principales :

Ingestion : Les enregistrements tabulaires sont plongés à l'aide d'un modèle présélectionné et indexés dans un magasin de vecteurs. Les détails de configuration, incluant le modèle d'embedding et la fonction de distance (ex. : distance cosinus), sont stockés sous forme de métadonnées.
Sélection d'ancres : Un enregistrement d'ancre est sélectionné dans le jeu de données. Les stratégies de sélection incluent l'échantillonnage aléatoire (potentiellement guidé par l'incertitude ou l'échantillonnage de diversité), le filtrage basé sur les attributs, la recherche hybride, ou la sélection directe par l'utilisateur basée sur la criticité métier. Le système récupère les plus proches voisins pour cette ancre en fonction de la fonction de distance prédéfinie.
Évaluation par l'utilisateur : L'ancre et un enregistrement voisin sont affichés côte à côte. Les utilisateurs attribuent une étiquette de similitude par paire (ex. : « identique », « similaire », « légèrement similaire », « non similaire »). Ces étiquettes sont stockées aux côtés des métadonnées anonymisées de l'utilisateur et de la session. Pour garantir la qualité des données, des métriques d'accord inter-annotateurs (ex. : $\kappa$ de Cohen) sont surveillées, et les désaccords sont signalés pour analyse.

Les auteurs notent que bien que la recherche de plus proches voisins approximatifs (ANN) soit souvent utilisée pour l'extensibilité, la recherche de plus proches voisins exacte ou des hyperparamètres ANN ajustés doivent être considérés lors de l'annotation afin de minimiser le bruit de récupération.

Contributions clés

Identification de l'écart d'évaluation : L'article soutient que les métriques objectives de tâches en aval sont inadéquates pour évaluer la fiabilité des embeddings tabulaires dans la recherche de similitude, soulignant spécifiquement l'absence d'alignement avec la préférence humaine.
Flux de travail d'évaluation proposé : Un processus structuré en trois étapes pour la collecte de classements de préférence humaine est introduit. Ce flux de travail facilite l'apprentissage actif et permet l'évaluation quantitative automatisée des algorithmes d'embedding basés sur la pertinence spécifique à l'utilisateur.
Spécificité des groupes d'utilisateurs : Le cadre supporte explicitement la génération de classements spécifiques aux groupes d'utilisateurs. Il reconnaît qu'une configuration d'embedding optimale pour un groupe (ex. : ingénieurs) peut différer de celle d'un autre (ex. : acheteurs), remettant en question la notion d'un modèle unique « optimal » global.
Intégration avec l'IA de confiance : Les auteurs lient leur flux de travail proposé à quatre piliers de l'IA de confiance :
- Équité : Permettre un traitement équitable des différents groupes d'utilisateurs.
- Transparence : Rendre visibles les structures de voisinage et la logique de récupération pour les utilisateurs.
- Robustesse : Utiliser les étiquettes de similitude pour identifier les problèmes de qualité de données (doublons, incohérences).
- Responsabilité : Fournir des enregistrements persistants pour la gouvernance et l'assurance qualité.

Résultats : Étude pilote

Les auteurs ont mené une étude pilote utilisant un ensemble de données de tickets PLM contenant diverses catégories (IT, sécurité, permission).

Configuration : Trois annotateurs ont évalué les 6 plus proches voisins pour 20 tickets ancres en utilisant une échelle à 4 points, générant 120 paires de tickets avec trois annotations chacune.
Divergence : Un désaccord significatif a été observé. Seules 52,5 % des paires ont reçu des évaluations identiques de la part des trois annotateurs, tandis que 43,3 % ont été évaluées dans deux catégories différentes et 4,2 % en trois. Cela suggère que le désaccord reflète souvent des différences de perspective légitimes et spécifiques au domaine plutôt que du bruit aléatoire.
Évaluation d'algorithme : L'étude a évalué 10 algorithmes d'embedding différents en utilisant la précision de triplet (mesurant si la distance vers un élément « plus similaire » est plus petite que vers un élément « moins similaire »).
- Variance de performance : L'algorithme 7 a obtenu les meilleurs résultats pour les annotateurs 1 et 3, tandis que l'algorithme 4 était supérieur pour l'annotateur 2.
- Sensibilité statistique : La différence de performance entre les meilleurs algorithmes pour l'annotateur 2 (algorithmes 4 et 7) était marginale (une différence d'un seul triplet). Cela souligne la nécessité d'un volume d'annotation suffisant pour atteindre une confiance statistique dans l'identification des préférences spécifiques aux groupes.

Signification et affirmations

L'article se positionne comme un appel à l'action pour que la communauté adopte des normes d'évaluation plus larges, alignées sur les principes de l'IA de confiance. Les auteurs ne prétendent pas avoir résolu le problème de la similitude tabulaire, mais plutôt esquissent la nécessité d'une validation centrée sur l'humain.

Confiance émergente : L'article soutient que la fiabilité des systèmes d'IA n'est pas une propriété intrinsèque du modèle d'embedding lui-même, mais une propriété émergente de processus socio-techniques robustes. Ces processus doivent continuellement inspecter, contester et documenter le comportement du modèle.
Intégration au cycle de vie : La validation des embeddings spécifique aux groupes d'utilisateurs doit être intégrée comme une composante fondamentale du cycle de vie de l'IA et des cadres de gestion des risques.
Directions futures : Les auteurs identifient quatre questions critiques que la communauté doit aborder :
1. Quel niveau d'annotation est suffisant pour représenter les diverses perspectives des utilisateurs ?
2. Comment gérer les désaccords légitimes entre annotateurs (résultant de différents groupes d'utilisateurs) ?
3. Comment détecter et atténuer les biais dans les voisinages d'embeddings à travers les différents groupes d'utilisateurs ?
4. Comment les résultats de classement de préférence peuvent-ils être réinjectés dans l'amélioration du système pour répondre à des besoins divers ?

Le travail souligne que, bien que gourmand en ressources, l'alignement de la préférence humaine est nécessaire pour garantir que les systèmes de recherche de similitude fonctionnent de manière équitable et satisfont les divers critères de pertinence des différentes parties prenantes dans les applications industrielles.