Aligning Large Language Models with Searcher Preferences

Ce papier présente SearchLLM, le premier grand modèle de langage conçu pour la recherche générative ouverte, qui utilise un système de récompense hiérarchique et une stratégie d'agrégation sélective pour optimiser la qualité des réponses et l'engagement des utilisateurs tout en garantissant la sécurité et la fiabilité, comme le démontrent les tests réussis déployés sur la plateforme RedNote.

L'essentiel

🌟 Le Super-Héros de la Recherche : Comment "SearchLLM" a appris à bien répondre

Imaginez que vous utilisez un moteur de recherche (comme Google ou celui de l'application RedNote). Jusqu'à récemment, ce moteur fonctionnait comme un bibliothécaire un peu rigide : vous lui posiez une question, et il vous donnait une liste de 10 livres (des liens) en disant : "Voilà, c'est à vous de les lire pour trouver la réponse."

C'est fatiguant pour l'utilisateur. Aujourd'hui, avec l'intelligence artificielle (les grands modèles de langage), on veut un chef cuisinier : vous lui donnez les ingrédients (vos questions et les informations trouvées), et il vous sert directement un plat prêt à manger (une réponse claire et synthétisée).

Mais il y a un problème : ce chef cuisinier est parfois un peu fou. Il peut inventer des ingrédients (hallucinations), servir des plats empoisonnés (contenu dangereux) ou vous donner une recette de 50 pages pour faire cuire un œuf (trop long).

C'est là que cette équipe de chercheurs (de l'USTC et de Xiaohongshu/RedNote) a créé SearchLLM, un nouveau chef qui a appris à respecter des règles strictes tout en étant très utile.

Voici comment ils ont fait, en trois étapes simples :

1. Le Système de Notation à Deux Niveaux (Le "Juge" et le "Chef")

Pour apprendre à ce chef à bien cuisiner, les chercheurs ont créé un système de notation très intelligent, comme un examen avec deux parties distinctes :

• Niveau 1 : Les Règles de Sécurité (Les "Règles du Jeu")
  C'est la partie non négociable. Imaginez un inspecteur de l'hygiène dans une cuisine.

  • Si le plat contient du poison (fausses informations), c'est 0 point.
  • Si le plat est sale ou mal présenté (mauvais format), c'est 0 point.
  • Si le chef refuse de cuisiner quand il n'a pas d'ingrédients (sécurité), c'est 10/10.
  • L'idée : Tant que ces règles ne sont pas respectées, on ne regarde même pas si le plat est bon. C'est une barrière infranchissable.

• Niveau 2 : La Qualité du Plat (Le "Goût")
  Une fois que l'hygiène est parfaite, on passe au goût. Ici, on note :

  • Est-ce que le plat répond vraiment à ce que le client voulait ? (Robustesse)
  • Est-ce qu'il est varié et intéressant ? (Richesse)
  • Est-ce qu'il est court et facile à manger ? (Concision)
  • L'idée : C'est ici qu'on cherche à rendre l'expérience utilisateur agréable.

2. La "Porte Tournante" (La Stratégie d'Aggrégation)

C'est la partie la plus ingénieuse de l'article. Habituellement, quand on entraîne une IA, on lui donne une note globale (moyenne entre sécurité et goût). Le problème ? L'IA devient maline : elle trouve un moyen de tricher. Elle peut dire : "Je vais faire un plat très long et bavard (mauvais goût) mais sans poison, donc ma moyenne sera bonne."

Les chercheurs ont inventé une "Porte Tournante" (Gated Aggregation) :

• Imaginez que la note de sécurité est une porte blindée.
• Si la sécurité est en dessous d'un certain seuil, la porte reste fermée : le score final est zéro, peu importe à quel point le plat est bon.
• Si la sécurité est au-dessus du seuil, la porte s'ouvre, et on peut alors optimiser le goût.

Cela force l'IA à d'abord être sûre et fiable, et ensuite seulement à essayer d'être brillante et utile. Elle ne peut plus sacrifier la sécurité pour gagner des points de "style".

3. L'Entraînement par "Essais et Erreurs" (Le Grand Concours)

Pour apprendre à ce chef, ils ne lui ont pas donné un manuel. Ils ont organisé un grand concours :

1. Le chef prépare 16 plats différents pour la même question.
2. Le système de notation (les inspecteurs et les dégustateurs humains) note chaque plat.
3. Le chef garde les meilleurs plats et jette les pires, en ajustant sa recette pour la prochaine fois.

Ils ont utilisé une technique appelée GRPO (Optimisation de la Politique Relative de Groupe), qui est un peu comme dire au chef : "Regarde tes 16 tentatives, garde celle qui a le mieux respecté les règles de sécurité ET qui a le plus plu aux clients, et recommence comme ça."

🏆 Les Résultats : Pourquoi c'est important ?

Ils ont installé ce nouveau chef dans l'application RedNote (une sorte de TikTok chinois très populaire) et ont fait des tests avec de vrais utilisateurs.

Les résultats sont impressionnants :

• +1,03 % de gens qui lisent vraiment la réponse (au lieu de la survoler).
• -2,81 % de gens qui doivent poser la question une deuxième fois (parce que la première réponse était mauvaise).
• Zéro accident : Le système reste très sûr, sans inventer de fausses informations dangereuses.

En résumé

Cette recherche nous dit que pour créer une IA de recherche utile, il ne suffit pas de la rendre "intelligente". Il faut lui apprendre à respecter des règles strictes (ne pas mentir, ne pas être dangereux) avant de chercher à être créative.

C'est comme apprendre à un enfant à conduire : on ne lui apprend pas d'abord à faire des dérapages contrôlés (la créativité), on lui apprend d'abord à ne pas percuter les autres voitures (la sécurité). Une fois qu'il respecte le code de la route, on peut lui apprendre à conduire vite et bien.

SearchLLM, c'est ce nouveau conducteur qui respecte le code de la route tout en vous emmenant exactement là où vous voulez aller, sans vous faire perdre de temps.

Résumé technique

Titre : Alignement des Modèles de Langage avec les Préférences des Utilisateurs de Recherche : Introduction de SearchLLM

1. Problématique et Contexte

Le paradigme de la recherche évolue d'un classement centré sur les éléments (item-centric) vers une synthèse centrée sur la réponse (answer-centric). Bien que les progrès industriels aient appliqué des techniques génératives au classement d'articles fermés (e-commerce), la recherche générative ouverte sur de grandes plateformes de contenu reste limitée.

Ce domaine présente trois défis majeurs pour l'entraînement des Modèles de Langage (LLM) :

1. Robustesse (R1) : Capacité à gérer des requêtes ambiguës et des preuves de récupération bruyantes, obsolètes ou contradictoires.
2. Garanties de base (R2) : Nécessité de contraintes non négociables concernant la sécurité, l'ancrage factuel (pas d'hallucinations) et le respect du format.
3. Alignement avec les besoins (R3) : Optimisation de l'expérience utilisateur (concision, pertinence, structure) sans compromettre les garanties de sécurité.

Les approches existantes (comme le RLHF standard ou les modèles de récompense scalaires) peinent souvent à équilibrer ces objectifs contradictoires, menant soit à des réponses sûres mais inutiles, soit à des réponses utiles mais dangereuses ou hallucinées.

2. Méthodologie : SearchLLM

Les auteurs proposent SearchLLM, le premier LLM dédié à la recherche générative ouverte, déployé sur la plateforme RedNote (Xiaohongshu). L'approche repose sur un pipeline end-to-end intégrant la planification d'intention, la sélection de preuves et la génération ancrée.

A. Système de Récompense Multi-dimensionnel Hiérarchique
Au lieu d'une récompense scalaire unique, les auteurs conçoivent un système à deux couches qui découple les contraintes de sécurité des objectifs d'optimisation comportementale :

• Couche I : Contraintes de Base (Bottom-line Constraints - R2)
  • Objectif : Garanties de sécurité, ancrage factuel et conformité au format.
  • Mécanisme : Critères binaires ou quasi-binaires (ex: détection d'hallucinations, cohérence logique, respect du Markdown).
  • Évaluation : Combinaison de règles déterministes (regex, statistiques) et de juges LLM calibrés.
• Couche II : Objectifs Comportementaux (Behavioral Objectives - R1 & R3)
  • Objectif : Robustesse, richesse de l'information, concision et utilité.
  • Mécanisme : Critères continus évaluant la pertinence des preuves, la diversité des perspectives et la structure de la réponse.

B. Stack d'Évaluation Hybride et Calibration Humaine
Pour garantir la précision des récompenses, le système utilise une pile d'évaluation hybride :

• Juges LLM : Pour les dimensions sémantiques complexes.
• Calibration "Human-in-the-loop" : Un protocole rigoureux où des experts annotent les réponses via deux groupes (aveugle vs assisté) pour corriger les biais des juges LLM et établir un consensus expert.

C. Stratégie d'Agrégation Portée (Gated Aggregation Strategy)
Pour éviter l'effet "balançoire" (où l'optimisation d'une métrique dégrade une autre), les auteurs introduisent une stratégie d'agrégation en porte logique :

• La récompense finale $R(x, y)$ est le produit d'un facteur de base ($B_\delta$) et d'une utilité comportementale ($U$).
• $B_\delta$ est une moyenne géométrique lissée des scores de la Couche I. Si l'un des critères de sécurité échoue (score proche de 0), la récompense globale est fortement supprimée, agissant comme une "porte ET" douce.
• $U$ est une moyenne arithmétique pondérée des scores de la Couche II, permettant des compromis flexibles uniquement si les contraintes de base sont satisfaites.

D. Optimisation par Renforcement (GRPO)
Le modèle est entraîné via Group Relative Policy Optimization (GRPO). Contrairement au PPO classique qui nécessite un réseau de valeur, GRPO normalise les avantages au sein d'un groupe de générations pour une même requête, ce qui est plus efficace à grande échelle.

3. Contributions Clés

1. SearchLLM : Premier LLM spécifiquement conçu pour la recherche générative ouverte sur des plateformes de contenu massif.
2. Architecture de Récompense Innovante : Séparation explicite des contraintes non négociables (sécurité/factuel) et des objectifs d'utilité, implémentée via une pile d'évaluation hybride (règles + LLM calibrés).
3. Stratégie d'Agrégation Portée : Mécanisme mathématique qui empêche le modèle de "tricher" (reward hacking) en sacrifiant la sécurité pour améliorer l'utilité, assurant une stabilité de l'apprentissage.
4. Déploiement Industriel : Intégration réussie dans l'entrée de recherche IA de RedNote, validée par des tests A/B à grande échelle.

4. Résultats Expérimentaux

Évaluation Hors Ligne (Offline) :

• Alignement avec l'Expert : Le système de récompense proposé dépasse significativement les modèles de référence (GenRM, Rubric-based) en termes de précision (Accuracy) et d'AUC, tant sur les contraintes de base que sur les préférences subjectives.
• Qualité de Génération : Comparé aux méthodes SFT, DPO et GRPO-Linear, SearchLLM (avec agrégation portée) obtient les meilleurs scores globaux, en particulier sur la robustesse et la sécurité, évitant les dégradations observées avec les sommes pondérées simples.

Évaluation En Ligne (Online - RedNote) :
Les tests A/B sur le trafic réel (10% du trafic) montrent des améliorations significatives par rapport à la ligne de base (SFT) :

• Taux de Consommation Valide (VCR) : +1,03 %. Les utilisateurs passent plus de temps à lire les réponses synthétisées, indiquant une utilité accrue.
• Taux de Nouvelle Recherche (Re-search Rate - RR) : -2,81 %. Les utilisateurs ont moins besoin de reformuler leur requête, signifiant que la réponse initiale satisfait leur besoin.
• Taux de Saut (Skip Rate) : Réduction significative, indiquant une meilleure pertinence immédiate.
• Sécurité : Le taux de cas critiques (Bad Case Rate) reste minimal, confirmant le respect des contraintes de sécurité.

5. Signification et Impact

Ce travail marque une étape importante dans l'industrialisation de la recherche générative. Il démontre qu'il est possible de déployer des LLM ouverts à grande échelle tout en maintenant des normes strictes de sécurité et de fiabilité, grâce à une ingénierie fine des signaux de récompense.

La méthode proposée offre une solution évolutive pour aligner les systèmes de recherche avec des préférences humaines complexes, en résolvant le conflit fondamental entre la nécessité de réponses créatives/utiles et l'exigence de rigueur factuelle. L'approche "Gated Aggregation" pourrait devenir un standard pour l'entraînement par renforcement de modèles dans des domaines critiques où la sécurité ne peut être compromise.