Résumé Technique : DISCOVERLLM

Formulation du Problème

Les modèles de langage actuels (LLM) sont principalement entraînés à exécuter et à susciter les intentions des utilisateurs, opérant sous l'hypothèse que les utilisateurs entament les interactions avec des objectifs pleinement formés, bien que parfois non articulés. Cependant, dans des tâches ouvertes, créatives et mal définies (par exemple, l'écriture, le design), les utilisateurs manquent souvent d'intentions claires au départ. Au lieu de cela, ils découvrent ce qu'ils veulent en observant et en explorant les résultats potentiels. Les approches existantes, y compris le fine-tuning multi-tours et les stratégies de prompting, supposent généralement que les intentions sont cachées mais statiques, en se concentrant sur leur mise en évidence par le biais de questions de clarification. Cela échoue lorsque les utilisateurs ne peuvent pas répondre à des questions telles que « quel ton souhaitez-vous ? » parce qu'ils n'ont pas encore formé cette préférence. Le défi central consiste à entraîner des modèles qui ne se contentent pas de susciter des intentions préexistantes, mais qui aident activement les utilisateurs à découvrir et à former leurs intentions par une exploration collaborative.

Méthodologie : Le Cadre DISCOVERLLM

Les auteurs proposent DISCOVERLLM, un cadre d'entraînement généralisable qui opérationnalise la découverte d'intentions comme un problème distinct de l'élicitation d'intentions. Le cadre repose sur un nouveau Simulateur d'Utilisateur qui modélise l'état cognitif d'un utilisateur possédant une structure d'intentions latente et hiérarchique.

1. Découverte d'Intentions par Interaction

Le cadre formalise la formation d'intentions comme un processus de raffinement progressif ($I_0 \subseteq I_1 \subseteq \dots \subseteq I_T$).

• Hiérarchie d'Intentions Latentes : Les intentions des utilisateurs sont représentées comme une hiérarchie arborescente ($H$) où les nœuds vont du général (par exemple, « inclut un animal ») au spécifique (par exemple, « inclut un chat tigré dormant sur un canapé »).
• États de Découverte : Les nœuds existent dans des états de non-découverts, émergents ou découverts. Un utilisateur ne peut articuler que les intentions qui sont découvertes.
• Progression Pilotée par la Réponse : La réponse de l'assistant ($r_t$) détermine les transitions d'état.
  • Engagement Direct : Si la réponse demande explicitement ou satisfait une intention, le nœud devient découvert.
  • Engagement Tangentiel : Si la réponse propose des options liées mais non correspondantes (par exemple, suggérer un chien alors que l'utilisateur veut un chat), cela contribue à un score cumulatif. Le dépassement d'un seuil fait passer le nœud de non-découvert à émergent ou découvert, modélisant la façon dont les utilisateurs affinent leurs préférences en voyant ce qu'ils ne veulent pas.
• Contrainte d'Expressivité : Les utilisateurs dans la simulation ne peuvent exprimer que les intentions qu'ils ont découvertes. Si une intention est seulement émergente, l'utilisateur ne peut fournir qu'un retour vague (par exemple, « peut-être quelque chose de différent »), empêchant le modèle de simplement demander des détails spécifiques que l'utilisateur ne peut pas encore fournir.

2. Calcul de la Récompense

Le cadre calcule une récompense par tour ($R$) pour guider l'entraînement :

• Progression de la Découverte ($R_d$) : Mesure l'augmentation du nombre d'intentions découvertes ($|I_{t+1}| - |I_t|$). Cela récompense le modèle pour la mise en évidence des préférences latentes.
• Pénalité d'Efficacité ($R_e$) : Pénalise la longueur excessive des réponses pour encourager des interactions concises.
• Récompense Totale : $R(r_t) = R_d(r_t) + R_e(r_t)$. La conception privilégie d'abord la découverte, l'efficacité étant une contrainte secondaire.

3. Pipeline d'Entraînement

En utilisant le simulateur d'utilisateur et la fonction de récompense, le cadre prend en charge plusieurs paradigmes d'entraînement :

• Génération de Données Synthétiques : Simulation de conversations pour générer des ensembles de données de haute qualité pour le Fine-Tuning Supervisé (SFT).
• Optimisation des Préférences : Création de comparaisons par paires (réponses choisies vs rejetées) pour l'Optimisation Directe des Préférences (DPO).
• Apprentissage par Renforcement en Ligne : Optimisation des modèles directement sur le signal de récompense en utilisant des algorithmes tels que PPO ou GRPO.

Contributions Clés

1. Formalisation de la Découverte d'Intentions : L'article distingue entre susciter des intentions cachées et découvrir des intentions non formées, proposant un modèle formel où la concrétisation des intentions est pilotée par l'exploration de l'espace des solutions par l'assistant.
2. Nouveau Simulateur d'Utilisateur : Un simulateur qui modélise les états cognitifs des utilisateurs comme une hiérarchie d'intentions, permettant le calcul de récompenses pour la découverte d'intentions — une capacité précédemment indisponible dans les configurations d'entraînement standard.
3. Cadre d'Entraînement : Un pipeline complet (SFT, DPO, RL) qui enseigne aux LLM à équilibrer la divergence (explorer des options pour sonder des intentions abstraites) et la convergence (raffiner les sorties pour satisfaire des intentions concrètes).

Résultats Expérimentaux

Le cadre a été évalué dans trois domaines : Écriture Créative, Écriture Technique et Dessin SVG, en utilisant Llama-3.1-8B-Instruct et Qwen3-8B comme modèles de base.

• Gains de Performance : DISCOVERLLM a obtenu plus de 10 % de découverte d'intentions en plus et 11 % de satisfaction d'intentions en plus par rapport aux meilleures références (incluant le prompting et COLLABLLM).
• Efficacité : Il a réduit la longueur des conversations jusqu'à 40 % tout en maintenant ou améliorant les performances de la tâche.
• Interactivité : Les scores d'interactivité ont augmenté de 83 %, indiquant une collaboration plus efficace.
• Analyse Comportementale : Contrairement aux modèles de base qui tendent à être purement convergents (révisant un seul brouillon) ou aux modèles SFT qui surajustent à la divergence (offrant des options sans fin), les variantes DISCOVERLLM ont démontré un schéma équilibré alternant entre exploration divergente et raffinement convergent.
• Généralisation : L'approche s'est généralisée à des domaines non vus (planification de voyages, développement web) et à différentes configurations de simulateur (modèles de base LLM variés et règles de mise à jour).
• Étude Utilisateur : Dans une étude avec 75 participants humains, DISCOVERLLM a obtenu des scores d'interaction et de satisfaction d'écriture plus élevés et a réduit le temps de complétion de la tâche par rapport aux références. Les participants ont noté que le modèle semblait « anticiper » leurs intentions latentes.

Signification et Revendications

L'article revendique que DISCOVERLLM représente un changement dans l'IA centrée sur l'humain, passant de modèles qui exécutent simplement des instructions à des partenaires proactifs qui explorent et façonnent les problèmes avec les utilisateurs. En abordant la réalité cognitive selon laquelle les utilisateurs découvrent souvent leurs besoins par l'action plutôt que par une pré-planification, le cadre permet à l'IA de soutenir plus efficacement des tâches mal définies et ouvertes. Les auteurs soulignent que cette approche ne compromet pas l'alignement de sécurité et offre une méthode évolutive pour entraîner des modèles à collaborer sur des entreprises complexes et créatives où l'intention de l'utilisateur est initialement fluide. Le travail suggère que les futurs systèmes d'IA devraient être conçus pour faciliter cette co-évolution des espaces de problème et de solution, plutôt que de supposer des objectifs d'utilisateur statiques.