Alignment as Jurisprudence

Résumé technique : L'alignement comme jurisprudence

Problème
L'article identifie un isomorphisme structurel entre le domaine de la jurisprudence (l'étude de la manière dont les juges tranchent les affaires) et l'alignement de l'IA (la science consistant à amener les modèles d'IA à se conformer aux valeurs humaines). Les deux domaines font face au défi fondamental de gouverner des décideurs puissants (juges ou agents d'IA) dans un « avenir inconnu ». Ils doivent extrapoler à partir de données passées (précédents ou données d'entraînement) vers des situations nouvelles où les règles explicites sont ambiguës ou inexistantes.

Les techniques d'alignement actuelles, principalement l'apprentissage par renforcement à partir de retours humains (RLHF) et ses dérivés tels que l'IA constitutionnelle et le raisonnement basé sur les cas (CBR), font face à deux limitations critiques :

1. Déficits de représentation : Les méthodes actuelles reposent souvent sur des inputs majoritaires ou sur les valeurs de petits groupes d'élite (par exemple, les ingénieurs de laboratoire), échouant à représenter adéquatement les valeurs sociétales pluralistes ou à protéger les droits des minorités.
2. Déficits de spécification : Les principes en langage naturel (par exemple, « soyez utile », « soyez équitable ») sont intrinsèquement vagues. Sans contexte concret, les modèles interprètent ces principes en fonction de leurs données d'entraînement sous-jacentes, ce qui conduit à des applications imprévisibles dans des scénarios nouveaux. L'article soutient que les approches d'alignement existantes peinent à mettre à l'échelle ces principes efficacement car elles manquent d'un mécanisme robuste pour spécifier le contenu des valeurs par le biais d'exemples et de délibération.

Méthodologie
L'article emploie une analyse théorique comparative plutôt qu'une expérimentation empirique. Il cartographie des approches techniques d'alignement spécifiques sur des théories jurisprudentielles établies pour identifier des parallèles structurels et une potentielle fertilisation croisée.

• Techniques d'alignement analysées :
  • RLHF : Entraînement des modèles via des classements de préférences humaines.
  • IA constitutionnelle (CAI) : Utilisation d'un ensemble de principes rédigés par des humains (une « constitution ») pour guider l'auto-critique d'une IA et la génération de retours (RLAIF).
  • Raisonnement basé sur les cas (CBR) : Utilisation d'un référentiel de cas spécifiques et de dimensions identifiées par des experts pour guider l'extrapolation du modèle.
• Cadres jurisprudentiels analysés :
  • Le positivisme de H.L.A. Hart : Le concept de « texture ouverte » dans le langage, où les règles possèdent un noyau de sens clair mais des périphéries vagues nécessitant une discrétion judiciaire.
  • L'interprétivisme de Ronald Dworkin : La théorie selon laquelle les décisions juridiques doivent « correspondre » aux précédents passés tout en présentant le système juridique sous son « meilleur jour » selon des principes moraux abstraits (justice, équité).
  • Le raisonnement analogique de Cass Sunstein : La théorie selon laquelle le droit repose sur des « accords incomplètement théorisés » où les acteurs s'accordent sur des résultats spécifiques dans des cas particuliers sans s'accorder sur des principes généraux de haut niveau.

Contributions clés
L'article propose un cadre bidirectionnel où la théorie juridique informe l'alignement de l'IA et où les outils d'IA informent la théorie juridique.

1. L'alignement comme jurisprudence (Application du droit à l'IA) :

   • IA constitutionnelle + Dworkin : L'article soutient que l'IA constitutionnelle devrait adopter une hiérarchie dworkinienne. Au lieu d'une liste plate de principes, les modèles devraient être imprégnés de « méta-principes » qui dictent comment équilibrer des valeurs conflictuelles (par exemple, prioriser les droits des minorités par rapport aux préférences majoritaires dans des contextes spécifiques). Pour résoudre le problème de la vaguité, l'article suggère de compléter les principes généraux par des exemples diversifiés, délibérés par des humains, de leur application, permettant au modèle d'apprendre le « fil conducteur » d'une valeur à travers des contextes changeants.
   • CBR + Sunstein : L'article critique les approches CBR actuelles pour leur dépendance à des dimensions de similarité sélectionnées par des experts. Il propose une approche CBR modifiée où les dimensions de l'analogie ne sont pas pré-sélectionnées par des experts mais émergent de la délibération publique. En générant des cas diversifiés basés sur des principes sélectionnés et en faisant délibérer des humains sur les résultats, le système peut former des « accords incomplètement théorisés ». Cela permet à l'IA d'apprendre des principes de bas niveau de similarité et de distinction qui sont représentatifs d'une société pluraliste, plutôt que les biais d'un groupe d'experts spécifique.

2. La jurisprudence comme alignement (Application de l'IA au droit) :

   • Compléter le droit existant : L'article suggère que l'IA peut agir comme un « aligneur » objectif pour le système juridique. Les grands modèles de langage (LLM) entraînés sur la jurisprudence pourraient analyser les opinions judiciaires pour déterminer si le raisonnement d'un juge est une extrapolation plausible de précédents ou simplement une rationalisation a posteriori de préférences politiques personnelles. Cela pourrait contraindre la discrétion judiciaire et augmenter la représentativité du droit.
   • Compléter le droit existant : L'article postule que les systèmes d'IA agents pourraient agir en tant qu'agents quasi-juridiques, permettant aux individus de contracter, de négocier et de participer à la délibération publique à une échelle et à un coût auparavant impossibles. Cela étendrait les capacités humaines et alignerait le droit plus étroitement sur les préférences individuelles en réduisant la friction de la participation juridique.

Résultats
En tant qu'essai théorique, l'article ne présente pas de résultats expérimentaux ou de données quantitatives. Ses « résultats » sont plutôt des cartographies conceptuelles :

• Il démontre que l'IA constitutionnelle souffre actuellement du même problème de « texture ouverte » que Hart a identifié dans le droit : les principes sont trop vagues pour être mis à l'échelle sans spécification concrète.
• Il démontre que le CBR manque actuellement de l'ancrage pluraliste que Sunstein préconise, car il repose sur des dimensions définies par des experts plutôt que sur une raison publique émergente.
• Il identifie que l'exigence de Dworkin de « correspondance » et de « meilleur jour » offre une solution au biais majoritaire dans l'IA, suggérant la nécessité de méta-principes de niveau constitutionnel protégeant les droits des minorités contre la règle de la majorité.
• Il identifie que l'accent mis par Sunstein sur les accords de bas niveau offre une voie vers un alignement pluraliste où des groupes divers peuvent s'accorder sur des comportements spécifiques de l'IA sans s'accorder sur des principes philosophiques profonds.

Signification
L'article affirme que sa signification principale réside dans l'ouverture d'un dialogue entre deux domaines qui sont structurellement identiques mais qui opèrent actuellement en isolation.

• Pour l'alignement de l'IA : Il soutient que la théorie juridique fournit une boîte à outils mature pour résoudre les problèmes de mise à l'échelle et de spécification de l'alignement. En traitant les modèles d'IA comme des juges et l'alignement comme une jurisprudence, les chercheurs peuvent adopter des méthodes éprouvées pour gérer l'ambiguïté, le pluralisme et l'évolution des règles dans le temps.
• Pour la jurisprudence : Il soutient que l'IA offre une nouvelle « boîte noire » pour analyser le droit. Parce que les LLM peuvent traiter d'énormes quantités de textes juridiques et identifier des modèles de similarité et de distinction que les humains pourraient manquer, ils peuvent aider à clarifier le fonctionnement réel du raisonnement juridique, résolvant potentiellement des débats de longue date sur la nature de l'interprétation juridique.
• Impact sociétal : L'article conclut que, à mesure que les systèmes d'IA assument des rôles de plus en plus essentiels dans l'adjudication et la prise de décision, comprendre la relation entre le droit et l'alignement est essentiel. Il suggère qu'une approche hybride — combinant des principes de haut niveau avec des exemples basés sur des cas et une délibération publique — est nécessaire pour garantir que les systèmes d'IA puissants restent alignés sur les valeurs humaines dans une société démocratique et pluraliste.