When Do LLMs Actually Help? Evaluating LLMs as Data Quality Annotators

Dans l'infrastructure vaste et bourdonnante du commerce moderne, les données sont la monnaie qui permet de maintenir les lumières allumées. Chaque fois qu'un client recherche un produit, reçoit une recommandation ou voit une mise à jour de prix, une base de données massive est interrogée. Mais ces bases de données sont désordonnées. Elles sont remplies d'entrées en double, de noms de marques mal orthographiés et d'enregistrements qui se ressemblent mais font référence à des choses différentes. Pendant des décennies, les entreprises se sont appuyées sur des systèmes rigides, basés sur des règles, pour nettoyer ce désordre. Ces systèmes fonctionnent comme un bibliothécaire strict qui vérifie si deux titres de livres sont orthographiés exactement de la même manière ; si c'est le cas, les livres sont identiques. Si ce n'est pas le cas, ils sont différents. Cette approche est rapide et fiable, mais elle s'effondre lorsque les données deviennent complexes, par exemple lorsqu'un produit est répertorié sous un surnom ou une marque filiale. Récemment, un nouveau type de programme informatique, connu sous le nom de grand modèle de langage, est entré en scène. Ces modèles sont entraînés sur d'énormes quantités de texte et peuvent comprendre le contexte et le sens d'une manière que les règles simples ne peuvent pas saisir. Ils promettent d'agir comme des éditeurs intelligents, repérant les erreurs qu'une liste de contrôle rigide manquerait. Mais alors que les organisations envisagent de remplacer leurs anciens outils par ces nouveaux outils flexibles, une question cruciale demeure : ces éditeurs intelligents sont-ils réellement cohérents, et offrent-ils véritablement un avantage par rapport aux anciennes méthodes, ou ne sont-ils qu'une spéculation coûteuse ?

Un chercheur à Katmandou s'est donné pour mission de répondre à cela en soumettant un modèle de langage spécifique à l'épreuve de deux tâches courantes de qualité des données. La première tâche était l'appariement d'entités, qui consiste à décider si deux fiches de produits décrivent exactement le même article. Le chercheur a testé le modèle par rapport à un ensemble de données de plus de deux mille paires d'enregistrements de produits, comparant ses performances à celles d'un système simple, basé sur des règles, qui recherchait des mots communs. Les résultats furent surprenants. Le système simple basé sur des règles, qui reposait sur le comptage de mots partagés, a fonctionné de manière presque parfaite, identifiant correctement les correspondances dans quatre-vingt-quinze pour cent des cas. Le grand modèle de langage, utilisant une consigne directe sans instructions spéciales, a obtenu des résultats tout aussi bons, atteignant un score presque identique. Dans ce scénario spécifique, où les noms de produits étaient largement littéraux et partageaient de nombreux mots, l'intelligence avancée du modèle n'offrait aucun avantage réel par rapport à la méthode de base de comptage de mots. Le modèle n'est pas devenu plus intelligent ; il a simplement égalé la performance de l'outil plus ancien et moins coûteux.

L'histoire change quand le chercheur teste le modèle sur un problème différent : la détection de l'étiquetage erroné des marques. Ici, la tâche consistait à déterminer si un produit était assigné au bon fabricant. Le chercheur a créé un ensemble de test de cinq cents fiches de produits, dont certaines avaient été délibérément échangées avec de mauvais noms de marques. Le système simple basé sur des règles, qui vérifiait si le nom du fabricant apparaissait littéralement dans le titre du produit, a échoué lamentablement. Il a signalé presque tous les articles comme des erreurs car il ne pouvait pas comprendre qu'un produit puisse être fabriqué par une société mère ou vendu sous le nom d'une filiale. Le grand modèle de langage, cependant, a puisé dans sa connaissance interne de la façon dont les marques sont liées entre elles. Il a reconnu qu'un produit étiqueté avec l'abréviation d'un code boursier était en réalité fabriqué par le nom complet de l'entreprise, et il a correctement identifié ces relations. Dans cette tâche, le modèle a nettement surpassé le système basé sur des règles, détectant des erreurs que la simple liste de contrôle avait totalement manquées. Cela a démontré que la valeur du modèle dépend entièrement de la tâche : il excelle lorsque la tâche nécessite de comprendre le contexte et les connaissances de fond, mais il n'offre que peu d'avantages lorsque la réponse peut être trouvée en regardant simplement le texte.

Au-delà de la précision, l'étude a également examiné un danger caché de l'utilisation de ces modèles : la cohérence. Si un éditeur humain lit le même document deux fois, il devrait donner la même réponse. Si un programme informatique donne une réponse différente chaque fois qu'on lui pose la même question, il devient peu fiable pour la prise de décision automatisée. Le chercheur a soumis le modèle aux deux cents tâches d'appariement cinq fois de suite, en lui laissant une petite part de hasard dans son processus de réflexion. Les résultats ont montré un niveau d'accord presque parfait. Le modèle a donné exactement la même réponse pour quatre-vingt-dix-neuf pour cent des articles sur l'ensemble des cinq passages. Ce haut niveau de stabilité suggère que, pour ces types spécifiques de décisions binaires, le modèle n'est pas un oracle chaotique mais un travailleur fiable. Cependant, l'étude a également révélé que tenter de rendre le modèle « plus intelligent » en ajoutant des exemples à ses instructions pouvait être contre-productif. Lorsque le chercheur a tenté d'améliorer les performances du modèle sur la tâche d'appariement en lui donnant des exemples spécifiques de la gestion des codes de produits, le modèle a en fait moins bien performé sur l'ensemble des données que lorsqu'il avait des instructions simples. Le modèle avait surcorrigé, devenant trop dépendant des codes et manquant des correspondances valides qui n'en possédaient pas. Cela a servi d'avertissement : tester une nouvelle instruction sur un échantillon minuscule peut être trompeur ; ce qui fonctionne sur une poignée d'exemples ne fonctionne pas toujours sur l'ensemble.

La conclusion finale est un guide nuancé pour quiconque souhaite utiliser ces outils. Les grands modèles de langage ne sont pas une baguette magique qui résout automatiquement tous les problèmes de données. Ce sont des outils puissants qui excellent lorsque la tâche nécessite de comprendre le monde derrière les mots, comme savoir que deux noms différents appartiennent à la même entreprise. Mais quand les données sont directes et que les réponses sont évidentes, une méthode traditionnelle simple est souvent tout aussi bonne et bien moins coûteuse. L'étude suggère que les organisations ne doivent pas supposer que ces modèles sont supérieurs dans toutes les situations. Au lieu de cela, elles doivent les tester sur leurs problèmes spécifiques pour voir si la capacité du modèle à comprendre le contexte est réellement nécessaire. Si les données sont propres et les règles claires, les anciennes méthodes peuvent encore être le meilleur choix. Si les données sont désordonnées et les relations complexes, le modèle peut être la clé pour déverrouiller la vérité. La voie à suivre n'est pas de remplacer tous les anciens systèmes par des nouveaux, mais de choisir le bon outil pour la tâche spécifique à accomplir.