Les modèles de langage de grande taille sont des outils puissants capables d'écrire des histoires, de résoudre des problèmes mathématiques et de déboguer du code informatique. Ils fonctionnent en prédisant le mot suivant dans une phrase, apprenant à partir de vastes quantités de texte pour imiter le raisonnement humain. Cependant, comme ces modèles génèrent du texte basé sur la probabilité, ils ne sont pas toujours cohérents. Si vous posez la même question deux fois, ou si vous lui demandez de générer plusieurs réponses à la fois, il peut donner des réponses différentes à chaque fois. Certaines de ces réponses sont brillantes, tandis que d'autres contiennent des erreurs subtiles ou des lacunes logiques. Ce caractère aléatoire rend difficile la confiance dans la production du modèle sans un moyen de vérifier quelle version est correcte. Traditionnellement, les chercheurs ont tenté de résoudre ce problème en demandant au modèle de générer de nombreuses réponses et en choisissant la plus commune, ou en entraînant un programme informatique distinct et spécialisé pour agir comme un juge. Mais ces méthodes échouent souvent lorsque la tâche est ouverte, comme écrire un poème ou générer du code complexe, où il n'y a pas de réponse unique « correcte » à compter, ou elles nécessitent un nouvel entraînement coûteux qui n'est pas toujours possible.

Une équipe de chercheurs de l'Université Yonsei et du KAIST a proposé une nouvelle façon de résoudre ce problème sans nécessiter d'entraînement supplémentaire ou de juges spécialisés. Ils appellent leur méthode ReFeri, qui signifie « Recycling Few-shot examples to verify LLM outputs » (Recyclage d'exemples à peu d'exemples pour vérifier les sorties de LLM). L'idée centrale est étonnamment simple : au lieu de traiter les exemples donnés au modèle comme un simple point de départ pour générer une réponse, les chercheurs ont décidé d'utiliser ces mêmes exemples comme une règle de mesure pour évaluer les réponses que le modèle produit. Lorsqu'un utilisateur pose une question complexe, il fournit généralement quelques exemples de la manière dont des problèmes similaires ont été résolus auparavant. Ces exemples agissent comme un guide, montrant au modèle le style et la logique souhaités. Les chercheurs ont réalisé que ces exemples contiennent des informations cachées sur ce à quoi devrait ressembler une bonne réponse, et ils ont trouvé un moyen d'utiliser cette information pour filtrer les mauvaises réponses.

Le processus fonctionne en générant plusieurs réponses différentes à la même question. Le système évalue ensuite chaque réponse en utilisant deux signaux concurrents dérivés des exemples originaux. Le premier signal mesure à quel point la réponse suit les directives des exemples, demandant essentiellement : « Est-ce que cette réponse semble appartenir à cet ensemble ? ». Le second signal agit comme une pénalité, vérifiant si la réponse se contente de copier les motifs de surface ou les particularités spécifiques des exemples plutôt que de résoudre le problème réel. Si une réponse imite trop étroitement les exemples sans comprendre la nouvelle question, elle reçoit une pénalité élevée. Le score final est un équilibre entre le respect des directives et l'évitement de l'imitation aveugle. En soustrayant la pénalité du score de guidage, le système sélectionne la réponse qui utilise le mieux les exemples comme fondement logique plutôt que comme un modèle à copier.

Dans leurs expériences, les chercheurs ont testé cette méthode sur trois modèles de langage différents à travers sept tâches diverses, allant de la résolution de problèmes mathématiques difficiles à la réponse à des questions scientifiques complexes et à l'écriture de code. Ils ont constaté que ReFeri améliorait systématiquement la précision des modèles. En moyenne, la méthode a augmenté les performances de 8,2 % par rapport au simple choix d'une réponse aléatoire parmi les options générées. Même comparée aux méthodes existantes les plus performantes qui ne nécessitent pas d'entraînement, ReFeri a réussi à améliorer la précision de 2,6 % supplémentaires. Les chercheurs étaient particulièrement intéressés par la question de savoir si cette approche fonctionnerait bien lorsqu'un modèle devait choisir parmi un grand nombre d'options. Ils ont testé le système avec jusqu'à vingt réponses candidates différentes et ont constaté que la méthode continuait de s'améliorer à mesure que le nombre d'options augmentait, alors que d'autres méthodes s'en détériorent souvent à mesure que le nombre de choix augmente. Cela suggère que le système devient meilleur pour repérer la meilleure réponse lorsqu'il dispose de plus de variété pour choisir.

L'une des découvertes les plus significatives est que cette amélioration ne dépendait pas de l'utilisation d'un ordinateur massif et puissant pour effectuer la vérification. Les chercheurs ont montré qu'un modèle beaucoup plus petit et léger pouvait effectuer la vérification aussi efficacement qu'un modèle plus grand. Cela est crucial car cela signifie que la méthode est efficace et rentable. Elle ne nécessite pas les ressources de calcul lourdes habituellement nécessaires pour entraîner de nouveaux juges ou exécuter des systèmes de vérification complexes. Le succès de la méthode semble provenir de la manière ingénieuse dont elle utilise les exemples à peu d'exemples, plutôt que de la puissance brute de l'ordinateur qui vérifie le travail. Les chercheurs ont également testé la méthode sur des tâches ouvertes comme la génération de titres de presse personnalisés et l'écriture de code, où les méthodes de vote traditionnelles échouent car il n'y a pas de réponse unique correcte à compter. Dans ces scénarios, ReFeri a tout de même surpassé les autres approches, démontrant sa capacité à gérer des tâches complexes et créatives où la « bonne » réponse n'est pas un fait simple mais une solution bien construite.

Les chercheurs ont également exploré pourquoi la méthode fonctionne si bien en analysant ce qui se passe lorsqu'ils rendent intentionnellement les exemples moins bons ou modifient l'ordre des réponses. Ils ont constaté que le système restait robuste même lorsque les exemples n'étaient pas parfaits, et qu'il n'était pas facilement dérouté par l'ordre dans lequel les réponses étaient présentées. Cette stabilité suggère que la méthode ne se contente pas de mémoriser des motifs, mais comprend véritablement la relation entre les exemples et le nouveau problème. En recyclant les exemples à peu d'exemples pour la vérification, les chercheurs ont créé un outil qui aide les modèles de langage à être plus fiables sans avoir besoin d'être réentraînés ou supervisés par des humains. Cette approche offre un moyen pratique d'obtenir de meilleurs résultats à partir des modèles existants, rendant les modèles plus dignes de confiance pour des applications réelles où la précision compte. Ce travail souligne que les exemples que nous donnons à ces modèles ne sont pas seulement des instructions pour démarrer une tâche, mais aussi des ressources précieuses pour vérifier la qualité du travail qu'ils produisent.