Structured Context Engineering for File-Native Agentic Systems: Evaluating Schema Accuracy, Format Effectiveness, and Multi-File Navigation at Scale
Cette étude systématique de 9 649 expériences démontre que la capacité du modèle est le facteur déterminant pour les agents LLM opérant sur des données structurées, tandis que les choix d'architecture et de format doivent être adaptés spécifiquement au modèle plutôt que d'appliquer des meilleures pratiques universelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🧠 Le Grand Débat : Comment parler aux robots intelligents ?
Imaginez que vous avez un super-intendant (une Intelligence Artificielle) très intelligent, capable de gérer une immense bibliothèque de données (une base de données) pour vous. Mais il y a un problème : comment lui donner les instructions pour qu'il trouve exactement ce qu'il cherche ?
Les chercheurs de ce papier ont posé une question cruciale : Faut-il lui donner tout le manuel d'instructions d'un coup (méthode "Prompt"), ou faut-il lui apprendre à utiliser une lampe-torche et un index pour chercher lui-même les pages dont il a besoin (méthode "Fichier-Natif") ?
Ils ont mené une expérience gigantesque (près de 10 000 tests !) avec 11 robots différents, des manuels écrits dans 4 langues différentes (YAML, Markdown, JSON, TOON) et des bibliothèques allant de 10 livres à 10 000 livres.
Voici ce qu'ils ont découvert, traduit en langage courant :
1. Tout dépend de qui est le robot (La différence entre le Génie et l'Apprenti)
C'est la découverte la plus importante. On ne peut pas utiliser la même méthode pour tout le monde.
Les "Génies" (Modèles Frontier comme Claude, GPT-5, Gemini) :
Imaginez un bibliothécaire qui a lu tous les livres par cœur. Si vous lui donnez un index et une lampe-torche (la méthode "Fichier-Natif" où il cherche lui-même), il devient plus efficace et plus précis. Il aime fouiller, car cela lui évite de se noyer dans trop d'informations inutiles.- Résultat : +2,7 % de précision en utilisant la méthode de recherche.
Les "Apprentis" (Modèles Open Source comme Llama, Qwen) :
Imaginez un stagiaire qui a encore besoin de beaucoup de repères. Si on lui dit "cherche tout seul dans les fichiers", il se perd, panique et fait des erreurs. Il préfère qu'on lui donne tout le manuel ouvert sur la table (la méthode "Prompt").- Résultat : Ils font moins bien quand ils doivent chercher seuls (-7,7 % de précision en moyenne). Certains se trompent même lourdement.
Leçon : Ne donnez pas une carte au trésor à quelqu'un qui ne sait pas lire une carte. Adaptez la méthode à la capacité du robot.
2. La forme du manuel n'a pas d'importance (sauf pour les débutants)
Les chercheurs ont testé quatre façons d'écrire les manuels :
- YAML (comme une liste structurée).
- Markdown (comme un document de texte avec des titres).
- JSON (un langage très technique pour les machines).
- TOON (un langage ultra-compact, comme un résumé en abréviations).
Le verdict global : Peu importe la forme, les robots "Génies" comprennent aussi bien l'un que l'autre. La précision globale est la même.
Le petit détail : Les robots "Apprentis" sont très sensibles à la forme. Certains préfèrent le Markdown, d'autres le YAML. C'est comme si certains préfèrent apprendre avec des dessins et d'autres avec du texte brut. Mais pour les experts, c'est égal.
3. La taille de la bibliothèque ne fait pas peur (jusqu'à un certain point)
Ils ont testé des bases de données énormes, jusqu'à 10 000 tables (c'est énorme !).
- Si vous essayez de donner tout le livre d'un coup, le robot s'étouffe.
- Mais si vous divisez la bibliothèque par départements (par exemple : "Comptabilité", "Ventes", "Ressources Humaines") et que le robot cherche seulement dans le bon tiroir, il reste très précis, même avec 10 000 livres.
Analogie : C'est comme chercher une aiguille dans une botte de foin. Si vous avez 10 000 bottes, ne les empilez pas toutes. Mettez-les dans des granges différentes selon leur couleur, et demandez au robot d'aller dans la grange "Rouge".
4. Le piège caché : La "Taxe de recherche" (Le "Grep Tax")
C'est une découverte amusante et contre-intuitive.
On pensait que les formats très compacts (comme TOON, qui est petit et économe en espace) seraient plus rapides et moins chers. Faux !
- Pourquoi ? Parce que le robot doit utiliser un outil de recherche (comme
grepdans un ordinateur) pour trouver l'info. - Le problème : Quand le robot cherche dans un format très dense (TOON), il trouve beaucoup d'informations d'un coup, ce qui le submerge de "bruit". De plus, comme le format est nouveau et rare, le robot ne connaît pas bien les "codes" pour chercher dedans. Il essaie des méthodes qui ne marchent pas, recommence, et consomme beaucoup plus de temps et d'argent (tokens) pour trouver la même chose.
Analogie : C'est comme chercher un mot dans un dictionnaire écrit en minuscules serrées sans espaces. Vous voyez plus de mots par page, mais vous fatiguez vos yeux et vous mettez plus de temps à trouver le bon mot que dans un dictionnaire aéré (YAML).
5. Ce qu'il faut retenir pour les entreprises (Le Guide Pratique)
Si vous voulez utiliser ces robots intelligents dans votre entreprise, voici la règle d'or :
- Ne faites pas de copier-coller universel. Si vous avez un robot très puissant (Frontier), laissez-le chercher dans les fichiers. Si vous avez un robot moins puissant (Open Source), donnez-lui tout le contexte d'un coup.
- Le format n'est pas le plus important. Utilisez YAML si vous voulez que ce soit efficace et facile à lire pour les machines. Évitez les formats trop exotiques (comme TOON) sauf si vous aidez le robot à comprendre comment chercher dedans.
- Organisez vos données. Pour les très grandes entreprises, découpez vos données en petits morceaux logiques (par domaine) pour que le robot ne se perde pas.
- L'humain avant le code. La différence de performance entre un robot "Génie" et un robot "Apprenti" est énorme (21 % d'écart). Mieux vaut investir dans un meilleur robot que d'essayer d'optimiser le format de vos fichiers.
En résumé
Ce papier nous dit : "Arrêtez de chercher la méthode parfaite universelle."
La meilleure façon de parler à une IA dépend de qui est l'IA. Adaptez votre approche à la capacité de votre outil, organisez vos données comme une bibliothèque bien rangée, et évitez les formats trop compacts qui font perdre du temps à la recherche.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.