A dataset of rated conceptual arguments
Cet article présente un ensemble de données composé de 951 critiques évaluées par des experts portant sur 442 textes de positionnement sur des questions conceptuelles (telles que la sécurité et l'éthique de l'IA) afin d'évaluer la capacité des grands modèles de langage à évaluer des arguments individuels, constatant que la performance sur ces tâches est corrélée aux classements généraux de capacité des modèles.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot comment devenir philosophe. Vous pouvez facilement lui enseigner les mathématiques ou le codage car ces sujets possèdent une « clé de correction » claire. Si le robot dit que , vous savez qu'il a tort. Mais que se passe-t-il quand la question est : « Le libre arbitre est-il réel ? » ou « Quelle est la meilleure façon de traiter les gens équitablement ? » Il n'y a pas de clé de correction pour ces « questions conceptuelles ». Personne ne connaît la vérité absolue, et les experts sont souvent en désaccord perpétuel. C'est le coin délicat de la science où l'intelligence artificielle tente de faire son prochain grand pas.
Habituellement, pour enseigner à un ordinateur, nous devons lui montrer des réponses justes et fausses. Mais quand les réponses sont floues, comment évaluer l'ordinateur ? Vous ne pouvez pas simplement demander : « A-t-il tiré la bonne conclusion ? » car personne ne sait quelle est la bonne conclusion. Au lieu de cela, ce document suggère une astuce ingénieuse : arrêtez de noter la réponse finale et commencez à noter les arguments utilisés pour y parvenir. Voyez cela comme un tournoi de débat. Même si nous ne savons pas qui a « raison » sur le sens de la vie, nous pouvons toujours nous accorder sur le fait qu'un débatteur a fait un point plus clair, plus logique et plus central que l'autre. Le document s'appuie sur l'idée que, bien que nous ne puissions pas encore résoudre les grands mystères philosophiques, nous pouvons apprendre à l'IA à distinguer un bon raisonnement d'un mauvais, même dans le brouillard de l'incertitude.
C'est exactement ce que les chercheurs ont entrepris de faire. Ils ont créé un nouvel ensemble massif de données — une bibliothèque numérique de 951 débats « notés » — où des experts humains ont joué le rôle de juges. Ils n'ont pas seulement demandé : « Qui a gagné ? ». Au lieu de cela, ils ont décomposé chaque argument en ingrédients spécifiques : À quel point le point était-il central par rapport au sujet principal ? Quelle était la force de l'attaque ? La critique était-elle claire ou confuse ? Contenait-elle des faits faux ? Ils ont ensuite utilisé cet ensemble de données pour tester la capacité des modèles d'IA modernes à jouer le rôle du juge.
Les résultats étaient un mélange de bonnes nouvelles et d'un certain rappel à la réalité. L'étude a révélé que les modèles d'IA plus intelligents et plus puissants sont généralement de meilleurs juges d'arguments philosophiques. Si vous avez une IA « poids lourds », elle est plus apte à repérer un argument faible qu'une IA « poids plume ». Cela suggère qu'à mesure que l'IA s'améliore dans la pensée générale, elle devient naturellement meilleure pour détecter la qualité du raisonnement dans les débats conceptuels flous.
Cependant, il y a eu un rebondissement surprenant. Les chercheurs ont testé une fonctionnalité populaire des IA modernes appelée « réflexion » ou « raisonnement », où le modèle marque une pause pour réfléchir étape par étape avant de répondre. Vous pourriez vous attendre à ce que donner plus de temps à l'IA pour réfléchir en fasse un meilleur juge. Mais le document a révélé que, étonnamment, ce mode de « réflexion » n'a pas vraiment aidé beaucoup. Parfois cela aidait un tout petit peu, parfois cela rendait les choses légèrement pires, mais en moyenne, la différence était négligeable. Les auteurs suggèrent que cela pourrait être dû au fait que ces modèles de « réflexion » sont actuellement entraînés principalement sur les mathématiques et le codage, où les réponses sont noires ou blanches. Ils n'ont pas encore tout à fait appris à utiliser ce temps de réflexion supplémentaire pour les zones grises de la philosophie et de l'éthique.
En bref, le document prouve que nous pouvons construire un ensemble de données pour apprendre à l'IA à mieux argumenter, même lorsqu'il n'y a pas de réponse unique. Il montre que, bien que l'IA devienne douée pour juger ces débats, simplement lui dire de « réfléchir plus intensément » n'est pas le bouton magique que nous espérions. Le chemin vers un meilleur raisonnement de l'IA en philosophie pourrait nécessiter plus qu'une simple augmentation de la puissance de calcul ; cela pourrait nécessiter un type d'entraînement totalement différent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.