Multi-Agent LLMs as Ethics Advocates for AI-Based Systems

Imaginez que vous construisez un robot, mais pas n'importe quel robot — un robot qui aide les médecins à diagnostiquer des maladies, décide de l'octroi d'un prêt ou traduit la langue des signes pour les sourds. Avant d'appuyer sur le bouton « start », vous devez rédiger un carnet de règles. Ce carnet de règles s'appelle « l'ingénierie des exigences ». C'est comme le plan d'une maison ; si le plan dit « placez une fenêtre ici », le constructeur place une fenêtre là. Mais que se passe-t-il si le plan oublie de dire : « Assurez-vous que la fenêtre ne soit pas si grande qu'elle laisse entrer un ouragan » ? Dans le monde de l'intelligence artificielle (IA), ces règles manquantes sont appelées « exigences éthiques ». Ce sont les instructions qui disent à l'IA d'être juste, transparente et bienveillante, plutôt que biaisée ou secrète.

Le problème est que rédiger ces règles éthiques est difficile. Cela nécessite généralement une grande réunion avec de nombreuses personnes différentes — ingénieurs, juristes, membres de la communauté — pour argumenter et réfléchir pendant des heures. C'est lent, coûteux et, parfois, parce que tout le monde est fatigué, les règles éthiques les plus importantes sont oubliées. Ce document pose une question cruciale : pouvons-nous utiliser une équipe de cerveaux informatiques super intelligents, appelés modèles de langage étendus (LLM), pour agir comme un « chien de garde moral » et aider à rédiger ces règles plus rapidement ? Imaginez cela comme l'embauche d'une équipe de détectives de l'IA pour examiner le plan de votre robot et crier : « Hé, vous avez oublié de vérifier si c'est équitable ! » avant même de commencer la construction.

L'équipe de détectives de l'IA

Les chercheurs, Asma Yamani, Malak Baslyman et Moataz Ahmed, ont construit un système qu'ils appellent MALEA (Multi-Agent LLM Ethics-Advocate). Au lieu de demander à un seul ordinateur de faire toute la réflexion, ils ont créé une équipe virtuelle de quatre agents d'IA, chacun ayant une tâche spécifique, travaillant ensemble comme un groupe d'amis éditant une histoire.

D'abord, il y a l'Ingénieur en Exigences, qui prend une description simple d'un système (comme « une application qui trouve les faux avis ») et tente de rédiger les règles initiales. Ensuite, un agent d'Assurance Qualité agit comme un éditeur strict, vérifiant si les règles sont claires et cohérentes. Vient ensuite la star du spectacle : l'Avocat de l'Éthique. Le seul travail de cet agent est d'examiner les règles et de dire : « Attendez, est-ce que c'est juste ? Qu'en est-il de la vie privée ? Et si quelqu'un est blessé ? ». Enfin, un Assistant de Documentation rédige le tout proprement.

Ces agents ne travaillent pas seulement en ligne ; ils communiquent entre eux dans une boucle. L'Ingénieur écrit une règle, l l'agent de Qualité corrige la grammaire, l'agent d'Éthique critique la moralité, et l'Ingénieur revient pour corriger. Ils se passent la balle jusqu'à ce que tout le monde convienne que les règles sont bonnes. Les chercheurs ont testé cette équipe sur deux scénarios du monde réel : un système conçu pour repérer les faux avis en ligne écrits en arabe, et une application qui traduit la langue des signes saoudienne en texte.

Ce que l'équipe a découvert

Lorsque les chercheurs ont comparé leur équipe d'IA à un expert humain et à un seul ordinateur d'IA, les résultats étaient un mélange de « Wow ! » et de « Oups ».

Dans le cas du Détecteur de Faux Avis, l'expert humain a trouvé 8 règles éthiques lors d'une réunion de 30 minutes. L'ordinateur d'IA unique en a trouvé environ 6 (75 % de rappel), mais l'équipe MALEA en a trouvé 7 (87,5 % de rappel). L'équipe d'IA était meilleure pour attraper les erreurs de l'humain. Par exemple, l'humain a manqué une règle concernant le suivi des « faux positifs » (lorsqu'un avis réel est injustement signalé comme faux), mais l'équipe d'IA a ajouté une exigence de rapports trimestriels pour suivre ces erreurs.

Dans le scénario de l'Application de Langue des Signes, l'expert humain a trouvé 13 règles. L'IA unique en a trouvé environ 8 (62 %), tandis que l'équipe MALEA en a trouvé environ 7 (54 %). Ici, l'humain a en fait fait un légèrement meilleur travail pour identifier les détails techniques spécifiques, comme la nécessité d'un temps de réponse de moins de 5 secondes. Cependant, l'équipe d'IA a été passée maître dans l'art d'ajouter de nouvelles idées que l'humain n'avait pas envisagées. L'équipe d'IA a suggéré des choses comme l'« anonymisation auditée » (cacher l'identité des utilisateurs d'une manière qui peut être vérifiée) et des normes de chiffrement spécifiques (comme TLS 1.3) que l'humain avait totalement omises.

Le document suggère que l'équipe d'IA est excellente pour lancer un large éventail d'idées éthiques et rendre des règles vagues très spécifiques. Par exemple, au lieu de simplement dire « gardez les données en sécurité », l'équipe d'IA a écrit « utilisez le chiffrement AES-256 ». Cependant, le document prévient aussi que l'IA n'est pas parfaite. Parfois, elle manque de nuances culturelles spécifiques ou se trompe dans les chiffres. Lors d'une exécution, l'IA a remarqué que les femmes en Arabie Saoudite portent différents types de couvre-chefs et a suggéré que les données d'entraînement devraient inclure un nombre spécifique de vidéos pour chaque type. Mais lors d'une autre exécution, elle a totalement oublié ce détail. Cela montre que l'IA est un peu comme un écrivain créatif qui se souvient parfois d'un détail et l'oublie parfois.

Le Verdict : Un assistant utile, pas un remplacement

La conclusion principale est que ce système multi-agents est un outil puissant pour obtenir rapidement un « premier jet » de règles éthiques. Il peut générer plus d'idées et être plus spécifique qu'un seul ordinateur, et il parvient souvent à détecter des choses que les humains pourraient omettre lors d'une courte réunion. Cependant, les chercheurs sont très clairs : cela ne remplace pas les humains.

L'IA est excellente pour suggérer, mais elle a besoin d'un humain pour dire : « Oui, c'est une bonne idée », ou « Non, cela ne correspond pas à notre culture ». Le système laisse même de petits « espaces réservés » (comme [INSÉRER LE NOMBRE ICI]) pour rappeler aux ingénieurs qu'ils doivent remplir les détails spécifiques. Le document soutient que nous ne devrions pas chercher à automatiser complètement l'éthique ; au contraire, nous devrions utiliser ces équipes d'IA pour accélérer le processus, afin que les humains puissent passer plus de temps à discuter des questions difficiles et importantes plutôt qu'à simplement rédiger les règles de base.

En résumé, le document suggère qu'une équipe d'agents d'IA peut agir comme un fantastique « partenaire de brainstorming moral », nous aidant à construire des systèmes d'IA plus sûrs et plus justes, mais seulement si nous gardons un humain dans la boucle pour prendre la décision finale.