Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

Dans le monde du shopping en ligne et du streaming multimédia, les algorithmes font plus que simplement deviner ce qui pourrait vous plaire ; ils essaient de plus en plus d'expliquer pourquoi. Lorsqu'un système suggère un film ou un restaurant, il ajoute souvent une phrase ou deux pour justifier ce choix, espérant que ce petit bout de contexte renforce la confiance et vous incite à cliquer. Pour que ces explications paraissent naturelles et humaines, de nombreux systèmes modernes utilisent des programmes informatiques puissants connus sous le nom de grands modèles de langage. Ces modèles sont comme de vastes bibliothèques d'écrits humains capables de générer du texte inédit à la demande. Cependant, cette commodité a un prix élevé. Chaque fois qu'un utilisateur demande une recommandation, le système doit solliciter ce programme massif pour rédiger une nouvelle explication de toutes pièces. Ce processus prend du temps — souvent des centaines de millisecondes — et coûte de l'argent qui croît directement avec le nombre de personnes utilisant le service. Pour les entreprises servant des millions de requêtes chaque seconde, ce délai et cette dépense deviennent un goulot d'étranglement significatif.

Des chercheurs chez Amazon ont entrepris de résoudre ce problème en changeant la manière dont ces explications sont créées. Au lieu de demander à l'ordinateur d'écrire une nouvelle explication à chaque fois qu'un utilisateur fait une requête, ils ont proposé un processus en deux étapes. D'abord, ils génèrent un large réservoir d'explications possibles à l'avance, pendant que le système est inactif. Ensuite, lorsqu'une requête réelle arrive, un programme beaucoup plus petit et plus rapide choisit simplement la meilleure option parmi cette liste préétablie. Cette approche élimine la nécessité d'utiliser des puces informatiques coûteuses et lentes lors du moment réel de l'interaction, permettant au système de répondre en moins d'un dixième de seconde. L'équipe a testé cette méthode par rapport aux systèmes existants et a découvert une vérité surprenante sur la façon d'entraîner le programme de sélection. Ils ont découvert qu'une méthode traditionnelle de classement d'articles, qui compare des paires d'options entre elles, fonctionnait nettement mieux que les techniques plus complexes et modernes souvent utilisées dans la recherche en intelligence artificielle.

Le cœur de ce travail repose sur une séparation simple mais ingénieuse des tâches. Les chercheurs ont utilisé deux types différents de grands modèles de langage pour générer un ensemble d'explications candidates pour chaque combinaison possible d'un utilisateur et d'un article. Ils ont créé ces candidats en utilisant six styles d'écriture différents, allant de résumés simples à des raisonnements plus complexes basés sur des avis passés. Cela a produit une collection figée d'options pour chaque paire utilisateur-article. Au moment où un utilisateur fait une requête, un programme de sélection léger, fonctionnant sur des processeurs informatiques standards sans matériel graphique spécialisé, examine ce petit groupe et choisit la meilleure explication unique. L'ensemble du processus est conçu pour être rapide et peu coûteux, évitant la latence et le coût de la génération de nouveau texte à la volée.

Pour voir si cette idée fonctionnait, l'équipe l'a testée sur deux ensembles de données différents : l'un impliquant des commerces locaux comme des restaurants et un autre impliquant des films. Ils ont comparé leur nouveau sélecteur à plusieurs méthodes existantes, y compris des systèmes qui génèrent des explications en temps réel et diverses techniques d'entraînement en intelligence artificielle. Le résultat le plus frappant est venu de la comparaison de la manière dont le sélecteur était entraîné. Les chercheurs ont testé un groupe de méthodes d'entraînement avancées qui reposent sur l'essai et l'erreur, où l'ordinateur apprend en choisissant une option à la fois et en observant ses performances. Ils ont également testé une méthode plus simple et plus ancienne qui apprend en comparant deux options à la fois pour décider laquelle est la meilleure.

Les résultats étaient clairs et cohérents. La méthode plus simple, qui compare des paires de candidats, a systématiquement surpassé les approches par essai et erreur plus complexes. Sur l'ensemble de données des commerces locaux, la méthode de comparaison par paires a obtenu un score de 0,500, battant les meilleurs systèmes existants par une marge notable. Les méthodes par essai et erreur, qui sont souvent populaires dans la recherche actuelle, n'ont pas été à la hauteur. Les chercheurs ont expliqué cela par le fait que la méthode de comparaison par paires utilise toutes les informations disponibles à la fois. Lorsque le système dispose d'une liste de candidats, chacun ayant un score de qualité connu, la méthode de comparaison par paires examine chacun d'entre eux pour apprendre. En revanche, les méthodes par essai et erreur ne regardent que l'option qu'elles ont choisie à un moment donné, ignorant les scores de qualité des autres options qu'elles ont délaissées. Cela signifie que les méthodes plus complexes jetaient de fait la majeure partie des données utiles.

L'étude a également exploré une autre façon de générer des candidats, en utilisant une carte de relations entre les utilisateurs, les articles et d'autres faits pour tracer des chemins et créer des explications. Bien que cette méthode ait produit des sorties très diverses qui ne répétaient que rarement les mêmes phrases, elle n'a pas égalé la qualité du réservoir pré-généré lorsqu'elle était mesurée selon le critère de correspondance avec une référence écrite par un humain. Cela a mis en évidence un compromis : le réservoir pré-généré était meilleur pour correspondre à des styles de référence spécifiques, tandis que la méthode basée sur les chemins était meilleure pour assurer la variété.

Une autre découverte importante concernait le choix du programme informatique utilisé pour générer le réservoir initial de candidats. Les chercheurs ont testé si l'utilisation d'un modèle de langage plus récent et plus avancé pour créer le réservoir améliorerait les résultats finaux. Ils ont constaté que, bien que le nouveau modèle produisait un texte légèrement plus varié et moins répétitif, il entraînait en fait une légère baisse du score de qualité final. Cela s'est produit parce que le style du nouveau modèle s'écartait légèrement du style spécifique du texte de référence qu'le système essayait de correspondre. Cela suggère que la simple mise à niveau du générateur ne rend pas automatiquement l'ensemble du système meilleur ; le sélecteur et le générateur doivent être réglés pour travailler ensemble, et parfois, un générateur légèrement plus ancien et plus constant est préférable.

Les chercheurs ont également testé si la combinaison de différentes techniques d'entraînement pouvait améliorer les performances. Ils ont essayé de prendre un modèle entraîné avec la méthode de comparaison par paires réussie, puis de l'affiner avec l'approche par essai et erreur. Cette combinaison n'a pas aidé ; en fait, elle a légèrement dégradé les résultats. Le processus d'ajustement a poussé le modèle loin des choix précis qu'il avait déjà appris, le faisant devenir moins confiant et moins précis. Ce résultat négatif a renforcé l'idée qu'une fois qu'un modèle a appris le classement correct à partir de données denses, l'ajout d'étapes complexes de renforcement est inutile et potentiellement nuisible.

Tout au long des expériences, l'équipe a veillé à ce que ses résultats soient fiables. Ils ont effectué leurs tests plusieurs fois avec différents points de départ aléatoires pour confirmer que le classement des méthodes n'était pas un simple coup de chance. Les différences entre le meilleur performeur et les autres étaient suffisamment importantes pour être statistiquement significatives, ce qui signifie que la conclusion selon laquelle la méthode de comparaison par paires est supérieure est robuste. L'ensemble du système, y compris le temps nécessaire pour générer le réservoir initial et entraîner les sélecteurs, peut être construit sur du matériel informatique standard pour un coût très faible, environ quinze dollars de temps de calcul. Au moment de l'interaction avec l'utilisateur, le système ne coûte presque rien à exécuter, car il ne nécessite qu'une recherche rapide dans un cache et un calcul simple.

Ce travail offre une leçon pratique pour la construction de systèmes de recommandation à grande échelle. Il suggère que lorsque l'objectif est de choisir la meilleure option à partir d'une liste de candidats pré-établis, l'outil le plus efficace est souvent une méthode de classement directe qui utilise toutes les données disponibles, plutôt qu'un système d'apprentissage complexe qui échantillonne seulement quelques options à la fois. En déplaçant le travail lourd de génération de texte vers une phase hors ligne et en utilisant un sélecteur rapide et efficace pour la décision en temps réel, les entreprises peuvent fournir des explications de haute qualité à des millions d'utilisateurs sans le délai et la dépense liés à la génération d'un nouveau texte pour chaque requête. L'étude démontre que parfois, la solution la plus efficace n'est pas de rendre l'intelligence artificielle plus complexe, mais de structurer le problème de sorte que les données disponibles puissent être utilisées plus complètement.