Exploring Human-in-the-Loop Themes in AI Application Development: An Empirical Thematic Analysis

Cette étude empirique identifie quatre thèmes clés concernant la gouvernance, l'amélioration itérative, les contraintes opérationnelles et la collaboration dans le développement d'applications d'IA intégrant l'humain, afin de combler le manque de guidance opérationnelle pour structurer les rôles et les mécanismes de contrôle.

L'essentiel

Imaginez que vous construisez un restaurant très sophistiqué où le chef est une intelligence artificielle (IA). Ce chef est incroyablement rapide, connaît des millions de recettes et peut préparer des plats en une seconde. Mais il y a un problème : parfois, il met du sel à la place du sucre, ou il oublie que le client est allergique aux arachides.

C'est exactement le défi que cette recherche de l'Université Chulalongkorn (en Thaïlande) tente de résoudre. Les auteurs se demandent : « Comment s'assurer que l'humain reste le vrai patron dans la cuisine, même quand l'IA fait la plupart du travail ? »

Voici une explication simple de leur étude, imagée avec des analogies du quotidien.

1. Le Problème : L'IA qui court trop vite

Souvent, quand une entreprise installe une IA (comme un chatbot pour le service client), elle pense que c'est comme installer un logiciel classique : on le lance et ça marche. Mais l'IA est plus comme un apprenti cuisinier génial mais imprévisible.

Si on ne lui donne pas de règles claires sur quand il doit demander de l'aide, il peut commettre des erreurs graves. Le papier explique que le vrai problème n'est pas technique (le code est bon), mais organisationnel : qui est responsable de quoi, et à quel moment ?

2. La Méthode : Observer la cuisine en direct

Pour comprendre comment ça marche vraiment, les chercheurs n'ont pas juste théorisé. Ils ont fait deux choses :

• Le Journal de Bord : Ils ont suivi de près la création d'un vrai chatbot pour une entreprise. Ils ont noté chaque fois que les humains devaient intervenir, corriger ou décider. C'est comme regarder un documentaire sur la construction d'un pont, jour après jour.
• Les Interviews : Ils ont parlé avec 8 experts (des ingénieurs, des chefs de projet) pour savoir ce qu'ils pensaient des règles du jeu.

3. Les 4 Grandes Leçons (Les Thèmes)

Après avoir analysé des milliers de notes, ils ont trouvé 4 grands thèmes, que l'on peut imaginer comme les 4 piliers d'un pont qui relie l'humain et la machine :

A. Le Capitaine et l'Équipage (Gouvernance et Autorité)

• L'analogie : Sur un bateau, le capitaine (l'humain) doit savoir exactement quand prendre le gouvernail.
• Ce que disent les chercheurs : Ce n'est pas juste une question de "qui a le bouton rouge". C'est une négociation constante. Parfois, l'IA est si sûre d'elle qu'elle agit seule. Parfois, elle est confuse et l'humain doit intervenir. La règle n'est pas fixe ; elle change selon le contexte (comme changer de vitesse en voiture selon la route). Il faut définir clairement qui est responsable de la sécurité à chaque étape.

B. L'Entraînement par l'Erreur (Raffinement Itératif)

• L'analogie : Imaginez un enfant qui apprend à faire du vélo. Il tombe, on le remet en selle, il ajuste son équilibre, et il recommence.
• Ce que disent les chercheurs : L'IA ne devient pas parfaite du premier coup. Elle a besoin d'un cycle de "essai-erreur-correction". Les humains doivent constamment vérifier les résultats de l'IA, dire "Non, ce n'est pas ça" et lui apprendre. C'est un processus circulaire, pas une ligne droite. L'IA apprend de ses erreurs grâce à l'œil critique de l'humain.

C. Les Limites de la Route (Contraintes Opérationnelles)

• L'analogie : Vous voulez construire une Ferrari, mais vous avez un budget de vélo et une route de terre battue.
• Ce que disent les chercheurs : Dans la vraie vie, on n'a pas toujours le temps, l'argent ou les meilleurs ordinateurs. Les équipes doivent faire des compromis. Parfois, on ne peut pas vérifier tout ce que fait l'IA parce qu'il y a trop de demandes. Les chercheurs montrent qu'il faut adapter le système de contrôle à la réalité du terrain, pas à la théorie idéale.

D. La Danse de l'Équipe (Collaboration Humain-IA)

• L'analogie : C'est comme un duo de danse. Le partenaire humain et le partenaire IA doivent se comprendre, anticiper les mouvements de l'autre et communiquer clairement.
• Ce que disent les chercheurs : Pour que ça marche, les humains (les développeurs, les clients, les managers) doivent tous être sur la même longueur d'onde. L'IA doit être "explicable" (on doit comprendre pourquoi elle a pris une décision). Si l'IA dit "Je refuse ce remboursement", l'humain doit pouvoir comprendre pourquoi pour pouvoir discuter avec le client. C'est une équipe qui travaille ensemble, pas deux mondes séparés.

En Résumé

Ce papier nous dit que l'IA n'est pas un produit fini qu'on achète et qu'on installe. C'est un projet vivant qui a besoin d'un système de garde-fous humains tout au long de sa vie.

Au lieu de juste dire "l'IA est intelligente", nous devons construire des structures où :

1. Les humains savent quand intervenir.
2. Ils ont les outils pour corriger l'IA.
3. L'équipe collabore pour comprendre les erreurs.
4. On accepte que les ressources sont limitées et on s'adapte.

L'objectif final ? Créer une IA qui ne remplace pas l'humain, mais qui travaille avec lui, comme un excellent copilote qui ne prend jamais le volant sans demander la permission au capitaine.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche « Exploring Human-in-the-Loop Themes in AI Application Development: An Empirical Thematic Analysis », rédigé en français.

1. Problématique

Le développement et le déploiement d'applications d'intelligence artificielle (IA) au sein des organisations se heurtent à des défis majeurs lorsque l'autorité décisionnelle et la surveillance humaine sont mal définies tout au long du cycle de vie du système. Bien que les principes de l'IA centrée sur l'humain (HCAI) et de l'humain dans la boucle (HITL) soient largement reconnus, les guides opérationnels pour structurer les rôles, les points de contrôle et les mécanismes de feedback restent fragmentés.

Les échecs des applications d'IA sont souvent diagnostiqués comme des problèmes purement techniques (prédictions incorrectes, instabilité), mais l'article argue qu'ils reflètent fréquemment une rupture socio-technique plus profonde : l'absence de supervision humaine explicite et continue régissant l'interprétation, la contestation et la contrainte des sorties des modèles en environnement opérationnel. Les cadres existants (comme le NIST AI RMF ou les pratiques MLOps) manquent de mécanismes concrets au niveau du pipeline pour assigner les rôles, définir les seuils d'intervention et encadrer les décisions humaines dans les flux de travail quotidiens.

2. Méthodologie

L'étude adopte une approche qualitative multi-sources pour caractériser empiriquement les pratiques HITL dans le développement réel d'applications d'IA. Elle repose sur deux flux de données principaux :

• Étude de cas rétrospective basée sur des journaux (Diary Study) :
  • Contexte : Développement et déploiement d'un chatbot de support client d'entreprise utilisant une architecture modulaire (classificateur hybride règles/LLM, embeddings BGE-M3, logique de désambiguïsation, etc.).
  • Données : Deux journaux de bord complets tenus par des ingénieurs directement impliqués, couvrant cinq étapes majeures (de la collecte des exigences au déploiement). Ces journaux ont été croisés, révisés par un tiers et validés par un expert externe en HCAI pour garantir la crédibilité.
• Entretiens semi-structurés :
  • Participants : Huit experts en IA (chercheurs académiques et praticiens de l'industrie) possédant au moins trois ans d'expérience dans le développement et la gouvernance d'applications d'IA d'entreprise.
  • Contenu : Les entretiens ont exploré la traduction des besoins métier en tâches techniques, la répartition du travail humain/IA, la surveillance, l'interprétabilité et les structures de gouvernance.

Analyse des données :
Une analyse thématique itérative a été appliquée aux deux sources de données. Le processus a consisté en un codage ouvert initial (générant environ 2 300 mots-clés), suivi de quatre itérations de synthèse pour fusionner et affiner les codes, aboutissant à une cinquième itération d'abstraction qui a produit quatre thèmes principaux.

3. Contributions Clés

La contribution principale de ce travail est l'identification et la synthèse de quatre thèmes fondamentaux dérivés empiriquement. Ces thèmes servent de base pour la conception future d'un cadre structuré HITL. Ils ne se limitent pas à des points d'intervention isolés, mais décrivent des dynamiques socio-techniques continues :

1. Gouvernance de l'IA et Autorité Humaine : La manière dont l'autorité, la responsabilité et la surveillance sont négociées dynamiquement en fonction de l'expertise, de la confiance dans les sorties du système et du contexte. Cela inclut la gestion des risques, la sécurité et l'évolution des exigences au gré des négociations entre équipes techniques, parties prenantes et conformité.
2. Raffinement Itératif Humain-dans-la-Boucle : La nature cyclique du développement où la compréhension du système évolue par expérimentation répétée. Ce processus repose sur l'interaction continue entre les signaux automatiques (métriques) et le jugement humain (expertise métier), surtout lorsque les deux entrent en conflit.
3. Cycle de vie du système d'IA et Contraintes Opérationnelles : L'influence des contraintes pratiques (ressources, délais, structure organisationnelle) sur les décisions de conception et d'exploitation. Les équipes doivent constamment arbitrer entre la rigueur technique, la capacité organisationnelle et les pressions de livraison (ex: choix d'architectures modulaires par défaut de ressources idéales).
4. Collaboration et Coordination Équipe Humain-IA : Les pratiques collaboratives permettant une compréhension partagée et une prise de décision collective. Cela inclut la négociation des métriques d'évaluation et l'utilisation de stratégies de conception d'interface et de "prompting" pour aligner la compréhension des capacités et limites du système entre les différents rôles.

4. Résultats et Observations

L'analyse révèle que la supervision humaine dans le développement d'applications d'IA est moins un "point de contrôle" unique qu'un travail organisationnel récurrent distribué sur tout le cycle de vie.

• Tension Métriques vs Jugement Humain : Une tension récurrente existe entre les métriques d'évaluation automatisées (évolutives mais parfois déconnectées de la réalité opérationnelle) et le jugement humain (intensive en temps mais essentiel pour la validité contextuelle).
• Rôle de la Documentation : La documentation émerge comme un mécanisme de gouvernance clé pour préserver la traçabilité, la responsabilité et la mémoire organisationnelle.
• Nature Situations : L'agence humaine est située, négociée et dépendante du contexte, dépassant les comptes rendus purement procéduraux du HITL.

5. Signification et Perspectives

Ce travail comble un vide critique en passant de principes normatifs abstraits (HCAI) à des dynamiques empiriques observables. Il déplace le focus des interventions humaines isolées vers les processus organisationnels qui soutiennent la responsabilité et la surveillance.

Signification :

• Fournit une base empirique solide pour concevoir des cadres opérationnels HITL.
• Met en lumière la nécessité d'intégrer la gouvernance, l'itération, les contraintes et la collaboration comme un ensemble couplé de dynamiques.
• Souligne que la fiabilité des systèmes d'IA émerge de l'interaction continue entre modèles, données, infrastructure et jugement humain, et non d'une validation pré-déploiement statique.

Travaux Futurs :
Les auteurs prévoient d'opérationnaliser ces thèmes en un cadre HITL structuré et orienté cycle de vie, spécifiant les définitions de rôles, les points de décision et les protocoles de feedback. Ce cadre sera ensuite validé sur d'autres domaines d'application (ex: chatbots d'intelligence d'affaires) et étendu à des domaines à haut risque (santé, services publics).