Rationalize: Shared Semantic Reasoning for Human-AI Alignment

Résumé Technique : Rationalize : Un raisonnement sémantique partagé pour l'alignement humain-IA

Énoncé du problème
La collaboration actuelle entre l'humain et l'IA dans le sens de la compréhension des données (sensemaking) est souvent caractérisée par un flux de travail unidirectionnel où les humains posent des questions et l'IA fournit des réponses. Ce processus de « sens autour de l'IA » plutôt qu'« avec elle » crée une boîte noire où les processus de raisonnement internes restent opaques. Bien que l'analyse visuelle et l'IA conversationnelle aient évolué de simples outils passifs vers des collaborateurs actifs capables de générer des hypothèses, ce changement introduit des tensions concernant l'agentivité, la confiance et la compréhension partagée. Les approches traditionnelles de l'alignement se concentrent souvent sur le contrôle des sorties ou traitent l'alignement comme un objectif ponctuel, échouant à aborder la nature complexe et évolutive de l'adaptation bidirectionnelle où l'humain et l'IA doivent tous deux s'ajuster mutuellement à leurs schémas de raisonnement, leurs hypothèses et leurs valeurs.

Méthodologie : Le cadre Rationalize
Le document propose Rationalize, un cadre conceptuel et axé sur la conception qui réimagine l'interaction humain-IA comme une série de paires de rôles complémentaires opérant au sein d'un espace de raisonnement sémantique partagé.

1. Espace de raisonnement sémantique partagé :
   Le cadre fonde l'interaction sur le cadre de la pensée critique de Paul et Elder, en utilisant huit Éléments de la pensée comme vocabulaire commun :

• Objectif (Purpose)
• Question en jeu (Question at issue)
• Information (données, preuves)
• Concepts et idées
• Hypothèses (Assumptions)
• Inférences et interprétations
• Implications et conséquences
• Point de vue

En rendant ces éléments explicites tant pour les analystes humains que pour les modèles d'IA (par exemple, les LLM), le cadre vise à transformer l'interaction d'une transaction en une véritable collaboration.

2. Appariements basés sur les rôles :
   S'appuyant sur les rôles humains de Wenskovitch et al. (Explorateur, Enquêteur, Enseignant, Juge), les auteurs associent chaque rôle humain à un homologue de l'IA correspondant. Ces appariements ne sont pas des étapes linéaires mais des configurations dynamiques qui mettent en évidence des éléments de raisonnement spécifiques et des défis d'alignement :

• Explorateur–Guide : Se concentre sur l'exploration ouverte. L'humain définit l'objectif et les questions ; l'IA suggère des directions, des ensembles de données et des hypothèses. L'alignement porte sur la convergence vers ce qui est « intéressant » et sur la visibilité des biais de recherche de l'IA.
• Enquêteur–Informateur : Se concentre sur l'analyse ciblée. L'humain pose des questions spécifiques ; l'IA rassemble des preuves et effectue l'analyse. L'alignement exige que l'IA expose ses sources de données, ses étapes d'inférence et son incertitude, permettant à l'humain de vérifier la chaîne de raisonnement.
• Enseignant–Élève (ou Élève–Tuteur) : Se concentre sur l'apprentissage et le feedback. En mode « Enseignant », les humains fournissent des étiquettes/corrections pour façonner le modèle ; en mode « Élève », l'IA aide les humains à affiner leur compréhension. L'alignement implique de rendre visibles les changements internes du modèle et de s'assurer que le feedback cible des concepts ou des hypothèses spécifiques plutôt que de simples résultats.
• Juge–Avocat : Se concentre sur l'évaluation et la responsabilité. L'humain évalue les résultats dans des contextes à enjeux élevés ; l'IA présente des preuves, des compromis et des options alternatives. L'alignement se concentre sur la mise en évidence des aspects chargés de valeurs, des implications et des hypothèses éthiques pour soutenir la délibération plutôt que la prise de décision automatisée.

3. Alignement bidirectionnel :
   Le cadre distingue « l'alignement de l'IA sur les humains » (ajustement des objectifs du système et du raisonnement aux valeurs humaines) de « l'alignement des humains sur l'IA » (aider les humains à comprendre les données, les concepts et la perspective du système). Les paires de rôles servent de mécanismes structurés pour gérer ce flux bidirectionnel à différentes étapes de la compréhension.

Principales contributions
Le document offre trois contributions principales :

1. Cadre conceptuel : Il définit un espace de raisonnement sémantique partagé basé sur les éléments de la pensée critique, allant au-delà de l'alignement au niveau du résultat pour atteindre l'alignement au niveau de la rationalisation de l'intention et de l'action.
2. Matrice Rôle-Élément : Il lie des paires de rôles humain-IA spécifiques aux Éléments de la Pensée pertinents, identifiant où le travail d'alignement est concentré pour chaque configuration (par exemple, l'objectif et la perspective dans l'exploration ; les preuves et l'inférence dans l'enquête).
3. Agenda de conception et d'évaluation : Il esquisse un programme de recherche collaborative pour concevoir des interactions qui soutiennent l'alignement. Cela inclut :
   • Expression explicite : Concevoir des interfaces qui incitent les humains et l'IA à articuler les éléments de raisonnement (objectif, hypothèses, etc.) plutôt que de les enfouir dans une conversation ouverte.
   • Feedback référencé aux éléments : Dépasser le simple feedback binaire « pouce levé/baissé » pour proposer des critiques spécifiques des composantes du raisonnement (par exemple, « cette hypothèse est incorrecte » ou « cette inférence viole la logique du domaine »).
   • Échafaudage métacognitif : Créer des systèmes qui visualisent les changements d'objectifs et de raisonnement au fil du temps pour soutenir la réflexion et l'adaptation humaine.

Résultats et affirmations
En tant que document conceptuel, Rationalize ne présente pas de résultats expérimentaux empiriques ou de système logiciel déployé. Au lieu de cela, il synthétise la littérature existante sur le travail d'équipe humain-machine, la pensée critique et l'analyse visuelle pour argumenter en faveur d'un changement structurel dans la manière dont l'alignement est abordé.

Le document affirme que :

• La véritable collaboration nécessite de rendre explicites les éléments de raisonnement, permettant aux parties de voir où le raisonnement diffère et comment le résoudre.
• Les différentes étapes de la compréhension nécessitent différentes configurations de rôles, chacune présentant des risques uniques de désalignement qui doivent être traités par des conceptions d'interface spécifiques.
• La recherche actuelle sur l'alignement se concentre souvent sur les résultats comportementaux ; Rationalize propose une approche structurelle axée sur la relation épistémique entre l'humain et l'IA.

Signification
La portée de ce travail réside dans sa proposition de traiter l'alignement comme un processus continu et évolutif de raisonnement partagé plutôt que comme un objectif statique. En ancrant l'interaction dans un vocabulaire partagé d'éléments de pensée et des configurations de rôles spécifiques, le cadre vise à :

• Permettre une adaptation bidirectionnelle, où les humains peuvent critiquer le raisonnement de l'IA et l'IA peut s'adapter aux normes de raisonnement de l'humain.
• Soutenir une IA responsable en rendant explicites les hypothèses et les compromis chargés de valeurs, particulièrement dans la paire Juge–Avocat.
• Fournir un agenda de recherche pour la communauté de l'IA/ML afin de construire des modèles capables de feedback structuré et ciblé, et pour la communauté de l'HCI afin de concevoir des interfaces qui font émerger le processus de raisonnement plutôt que la simple réponse finale.

Les auteurs concluent que, bien que les défis de conception soient substantiels, un modèle de collaboration où les humains et l'IA peuvent inspecter, contester et apprendre mutuellement de leur raisonnement offre une voie plus fiable et substantielle vers un alignement significatif.