paper.json: A Coordination Convention for LLM-Agent-Actionable Papers
L'article propose `paper.json`, une convention JSON légère et complémentaire pour les articles scientifiques, qui utilise des identifiants stables et des commandes shell explicites pour permettre aux agents LLM d'extraire de manière fiable des sous-affirmations, de définir le périmètre et de reproduire les résultats sans modifier le texte original lisible par l'humain.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'enseigner à un robot comment lire un article scientifique. Vous lui remettez un PDF standard, en attendant qu'il comprenne les points principaux, trouve les expériences spécifiques et, peut-être, exécute même le code pour vérifier si les résultats sont réels.
Le problème, selon cet article, est que les articles standards sont écrits pour des humains, et non pour des robots. Ils ressemblent à une histoire délicieuse et complexe où les faits les plus importants sont enfouis dans des paragraphes de langage fleuri. Lorsqu'un robot tente de lire cela, il se perd. Il pourrait deviner un fait qui n'existe pas, manquer une commande spécifique nécessaire pour exécuter une expérience, ou mal comprendre une définition.
Cet article propose une solution simple : paper.json.
Considérez paper.json comme une feuille de triche lisible par machine qui arrive dans la même enveloppe que l'article. Il ne change pas l'apparence de l'article pour un humain ; il ajoute simplement une couche numérique structurée que les robots peuvent comprendre instantanément.
Voici comment l'article décompose la solution en utilisant quatre « règles » principales (conventions), expliquées par des analogies du quotidien :
1. Le système de « Post-it » (Identifiants de revendications stables)
Le problème : Dans un article normal, si un robot veut citer une phrase spécifique, il doit parcourir tout le texte. Il pourrait saisir la mauvaise phrase ou manquer la nuance.
La solution : L'article attribue à chaque revendication importante un identifiant unique, comme un Post-it avec un numéro (par exemple C1, C2).
L'analogie : Imaginez une bibliothèque où chaque livre a un emplacement d'étagère spécifique. Au lieu de dire à un robot : « Va trouver la partie sur l'oiseau bleu dans le troisième chapitre », vous dites simplement : « Va à C1 ». Le robot sait exactement où chercher, sans avoir à deviner.
2. La liste de « Ce que nous n'avons pas fait » (Non-revendications explicites)
Le problème : Les robots s'enthousiasment souvent trop. Si un article dit « La méthode A fonctionne sur l'ensemble de données X », un robot pourrait deviner : « Oh, donc la méthode A fonctionne sur tout ! ». C'est ce qu'on appelle la « sur-extension de portée ».
La solution : L'article inclut une section spécifique appelée « Does-Not-Claim » (Ne revendique pas).
L'analogie : Pensez à un menu dans un restaurant. Habituellement, le menu liste ce que vous pouvez commander. Cet article ajoute une liste de ce que vous ne pouvez pas commander. Il indique explicitement au robot : « Nous avons testé cela sur des pommes, mais nous n'avons pas testé cela sur des oranges. Ne supposez pas que cela fonctionne sur des oranges. » Cela empêche le robot d'inventer des faits.
3. Le bouton « Copier-Coller » (Commandes exécutables)
Le problème : Un article peut dire : « Nous avons exécuté un script pour générer la figure 3 ». Mais il ne précise pas quel script, ni quels paramètres utiliser. Le robot doit deviner, et il se trompe généralement.
La solution : L'article liste la commande exacte que le robot doit taper dans un ordinateur pour recréer la figure.
L'analogie : Imaginez une recette qui dit : « Cuisez les pâtes jusqu'à ce qu'elles soient prêtes ». C'est vague. Le paper.json est comme une recette qui dit : « Tapez exactement : boil water -time 10min ». Le robot peut copier cette chaîne, la coller et l'exécuter sans avoir besoin d'être un chef.
4. Le « Dictionnaire » (Définitions stables)
Le problème : Les scientifiques utilisent souvent des mots de manière spécifique, différente du langage courant. Si un article définit un terme dans un long paragraphe, un robot pourrait le manquer et utiliser le mauvais sens plus tard.
La solution : L'article attribue à chaque définition un identifiant unique (comme D1) et l'écrit clairement.
L'analogie : C'est comme avoir un glossaire où chaque mot possède une carte d'identité fixe. Si le robot voit le mot « Réseau », il n'a pas à deviner si vous parlez d'un réseau informatique ou d'un réseau social. Il consulte simplement D1 et voit la définition exacte écrite par l'auteur.
La règle « C4 » : Gardez cela simple
L'article souligne que cela ne devrait pas être difficile pour les auteurs humains.
L'analogie : Vous n'avez pas besoin de reconstruire votre maison pour ajouter une sonnette. Vous avez juste besoin d'installer le bouton. Les auteurs affirment que rédiger cette « feuille de triche » (paper.json) à la main prend moins d'une heure et ne nécessite aucun logiciel spécial ni modification du texte de l'article. C'est un ajout à faible coût qui rend l'article « prêt pour les robots ».
L'expérience
Cet article est unique car il met en pratique ce qu'il prêche.
- L'article lui-même possède un fichier
paper.json. - Il inclut un « validateur » (un outil qui vérifie si la feuille de triche correspond à l'article).
- Il invite les robots à le lire, à tester ces règles et à signaler si elles ont fonctionné ou échoué.
Ce que l'article NE revendique PAS
Les auteurs font très attention à ne pas trop promettre. Ils déclarent explicitement :
- Ils n'ont pas prouvé que les robots ne commettront jamais plus d'erreurs ; ils ont simplement rendu cela moins probable.
- Ils n'ont pas encore résolu le problème pour tous les types d'articles (comme ceux contenant des théorèmes mathématiques complexes) ; c'est un travail futur.
- Ils ne remplacent pas les systèmes existants (comme les bases de données académiques standard) ; ils ajoutent simplement une couche légère par-dessus.
En résumé : Cet article suggère que pour aider les robots à lire la science, nous devons cesser d'écrire uniquement pour les humains. En ajoutant une simple « feuille de triche » structurée (paper.json) qui liste exactement ce que l'article revendique, ce qu'il ne revendique pas, et exactement comment exécuter le code, nous pouvons empêcher les robots de deviner et les faire commencer par savoir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.