Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
Cet article introduit une ontologie structurée pour analyser une vaste collection de 57 500 invites transactionnelles uniques provenant de GitHub, les transformant en objets linguistiques richement structurés afin de révéler divers modèles d'utilisation à travers les langues et les domaines tout en validant la qualité de l'annotation par une analyse d'erreurs exhaustive.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot super intelligent comment effectuer un travail spécifique, comme écrire un poème ou corriger un bug dans un programme informatique. Vous ne lui donnez pas un code de programmation formel ; au lieu de cela, vous lui écrivez un ensemble d'instructions en anglais courant. Cet ensemble d'instructions est appelé un prompt. Considérez un prompt comme une fiche de recette pour un chef. Si la recette est vague (« préparez quelque chose de savoureux »), le chef risque de se tromper. Mais si la recette est détaillée (« hachez deux oignons, faites-les revenir pendant cinq minutes, ajoutez du sel »), le chef sait exactement ce qu'il doit faire. Pendant longtemps, les scientifiques ont étudié le « chef » (le modèle d'IA) en détail, pour essayer de le rendre plus intelligent. Mais ils n'ont pas accordé beaucoup d'attention aux « fiches de recettes » (les prompts) elles-mêmes, les traitant comme des notes désordonnées et informelles plutôt que comme quelque chose qui mérite d'être étudié sérieusement. Cet article soutient que ces prompts sont en réalité un nouveau type de « langage » que les humains utilisent pour programmer l'IA, et qu'ils méritent d'être analysés comme n'importe quel autre langage ou code.
Les chercheurs derrière cette étude ont décidé de traiter les prompts comme un objet scientifique. Ils ont fouillé dans les dépôts de code publics sur GitHub, qui est comme une immense bibliothèque où les développagers de logiciels partagent leur travail. Ils cherchaient un type spécifique de prompt appelé prompt transactionnel. Pour comprendre la différence, imaginez une conversation informelle avec un ami où vous demandez : « Quel temps fait-il ? » et il répond. C'est un prompt « interactif ». Un prompt transactionnel est différent ; c'est comme une instruction pré-écrite collée sur une machine qui s'exécute automatiquement chaque fois qu'un bouton est pressé. Il est conçu pour être répété, robuste, et faire partie d'un système logiciel plus large. L'équipe a collecté 57 500 de ces prompts uniques issus du monde réel pour voir à quoi ils ressemblent, comment ils sont structurés et ce que les gens demandent réellement à l'IA de faire.
Pour donner un sens à cet énorme tas de texte, les auteurs ont construit une « carte » spéciale ou une ontologie. Imaginez que vous essayez d'organiser un grenier en désordre rempli d'objets aléatoires. Sans système, c'est juste le chaos. L'ontologie est comme un ensemble de boîtes et d'étiquettes qui leur permettent de trier les prompts par catégories : Dans quelle langue est-il écrit ? Quelle est la tâche ? Un format spécifique est-il requis ? Le prompt dit-il à l'IA ce qu'elle ne doit pas faire ? En transformant ce texte non structuré en ces données riches et structurées, ils ont pu commencer à poser des questions sérieuses.
Qu'ont-ils découvert ? Premièrement, les données montrent une grande variété, mais elles suivent un modèle connu sous le nom de distribution de type Zipf. Pensez à cela comme à la population d'une ville : quelques grandes villes (comme l'anglais) ont des millions d'habitants, tandis que des milliers de petits villages (autres langues) en ont très peu. Dans le monde des prompts, l'anglais est la grande métropole, représentant environ 84,66 % des prompts. Cependant, il existe toujours 62 langues différentes représentées, et même dans ces prompts anglais, les gens mentionnent constamment d'autres langues (comme demander à l'IA de « traduire en espagnol »), montrant une couche cachée de diversité linguistique.
L'étude a également révélé que ces prompts sont étonnamment complexes. Ce ne sont pas de simples phrases. En moyenne, chaque prompt contient environ 6,85 « blocs d'instructions » distincts. Ces blocs sont comme les étapes d'une recette. Les étapes les plus courantes sont des choses comme « voici le contexte », « ne faites pas une réponse trop longue » ou « extrayez le résultat sous forme de fichier JSON ». Curieusement, environ 31 % des prompts contiennent des « instructions négatives » — dire à l'IA ce qu'elle ne doit pas faire, comme « ne pas halluciner » ou « ne pas ajouter de texte superflu ». Cela suggère que les développeurs essaient constamment de canaliser la tendance de l'IA à être trop bavarde ou à inventer des choses.
Les chercheurs ont également examiné la manière dont les gens structurent ces prompts. Ils ont découvert que la configuration la plus courante est une conversation en deux parties : un message « Système » (qui définit les règles, comme « Vous êtes un assistant utile ») et un message « Utilisateur » (qui donne la tâche spécifique). Ce duo « Système-Utilisateur » est devenu l'unité standard pour les prompts transactionnels, apparaissant dans 64 % des cas. Il semble que les développeurs considèrent le rôle du Système comme une couche de configuration statique et le rôle de l'Utilisateur comme l'entrée dynamique, plutôt que d'utiliser l'IA pour des jeux de rôle complexes à plusieurs tours au sein d'un seul script.
En ce qui concerne ce que les gens font réellement, les tâches de NLP (Traitement du Langage Naturel, comme résumer un texte ou répondre à des questions) sont les plus populaires, les quatre tâches principales couvrant près de la moitié de toutes les données. Cependant, la « longue traîne » des données montre que les gens utilisent l'IA pour des choses de plus en plus étranges et merveilleuses, de la stratégie de jeu à la génération de politiques. Les données suggèrent également que la plupart de ces prompts sont « ancrés » (grounded), ce qui signifie qu'ils s'appuient sur un contexte spécifique fourni dans le prompt (comme un document ou un extrait de code) plutôt que sur la seule mémoire interne de l'IA. Environ 89,25 % des cas utilisent ce type d'ancrage.
Les auteurs précisent avec prudence que leurs conclusions proviennent d'une tranche spécifique d'Internet (des projets publics sur GitHub utilisant des bibliothèques Python spécifiques), il se peut donc qu'elles ne représentent pas tous les prompts existants. Ils ont également utilisé l'IA pour aider à étiqueter et analyser les données, ce qui signifie qu'il y a des erreurs, bien qu'ils aient vérifié la qualité et constaté que la précision était assez élevée pour la plupart des catégories (souvent supérieure à 90 %).
En fin de compte, ce document ne nous donne pas seulement une liste de prompts ; il nous donne une boîte à outils. Les auteurs ont publié le jeu de données et un site web spécial où quiconque peut parcourir, rechercher et explorer ces prompts selon leurs caractéristiques. Ils espèrent que cela aidera les scientifiques, les ingénieurs et les linguistes à comprendre comment les humains interagissent réellement avec l'IA. En traitant les prompts comme des objets scientifiques de premier rang, nous pouvons commencer à voir les modèles, les « normes tacites » et les façons créatives dont les humains façonnent le comportement de ces puissantes machines. C'est une étape vers la compréhension du nouveau langage que nous inventons pour parler à nos partenaires numériques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.