Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs
Cette étude démontre que l'ingénierie du contexte, en particulier l'utilisation d'une fenêtre de records de décisions architecturales (ADRs) récents, est un facteur plus déterminant que la taille du modèle pour optimiser la génération automatisée d'ADRs par les grands modèles de langage (LLM).
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes l'architecte en chef d'une immense ville en construction. Chaque fois que vous prenez une décision importante (par exemple : "Utilisons du béton plutôt que du bois pour les fondations" ou "Choisissons un pont suspendu plutôt qu'un tunnel"), vous devez écrire une petite fiche explicative. Cette fiche, appelée ADR (Architecture Decision Record), explique pourquoi vous avez pris cette décision, quel était le contexte et quelles en seront les conséquences.
Le problème ? Écrire ces fiches prend du temps, et les architectes humains ont souvent la flemme de le faire. Résultat : des années plus tard, personne ne se souvient pourquoi le pont est en béton, et les nouveaux venus sont perdus.
C'est là qu'interviennent les Intelligences Artificielles (IA) pour aider à rédiger ces fiches automatiquement. Mais une question se pose : Comment donner les bonnes informations à l'IA pour qu'elle écrive une fiche parfaite ?
C'est exactement ce que cette étude cherche à comprendre. Les chercheurs ont posé un défi aux IA : "Écris-moi la fiche pour cette nouvelle décision." Mais ils ont testé différentes façons de fournir le contexte (l'histoire du projet) à l'IA.
Voici les 4 stratégies qu'ils ont comparées, expliquées avec des analogies simples :
1. Les Stratégies Testées (Le "Contexte")
Imaginez que vous devez raconter une histoire à un ami qui arrive en cours de route. Comment lui donnez-vous le contexte ?
- Aucun contexte (La base) : Vous dites juste : "Écris une fiche sur le pont." L'IA doit deviner tout le reste.
- Résultat : C'est catastrophique. L'IA invente des choses, fait des phrases trop longues et ne comprend pas les contraintes réelles du projet. C'est comme essayer de cuisiner un plat complexe sans aucune recette ni ingrédients.
- Tout l'historique (All-History) : Vous donnez à l'IA tous les documents de la ville depuis sa création (des milliers de pages).
- Résultat : L'IA a trop d'informations. Elle se noie dans le déluge d'infos, perd du temps et finit par se concentrer sur des détails inutiles. C'est comme essayer de lire 1000 livres pour comprendre pourquoi on a construit le pont aujourd'hui.
- Les tout premiers documents (First-K) : Vous donnez uniquement les 3 ou 5 premières fiches, celles qui ont posé les fondations il y a 10 ans.
- Résultat : C'est utile pour comprendre les bases, mais ça ne dit pas ce qui s'est passé hier. C'est comme connaître la recette de la soupe de votre grand-mère, mais ne pas savoir que vous avez changé le sel la semaine dernière.
- Les derniers documents (Last-K) : Vous donnez uniquement les 3 ou 5 fiches les plus récentes.
- Résultat : C'est le gagnant ! L'IA comprend immédiatement la situation actuelle. Elle sait ce qui a été décidé hier et aujourd'hui. C'est comme si un collègue vous chuchotait : "On a changé le ciment il y a deux jours, donc pour le pont, on doit faire attention à ça."
- La recherche intelligente (RAFG) : Au lieu de donner les documents dans l'ordre, vous demandez à l'IA de chercher spécifiquement les documents qui parlent du même sujet (ex: "trouve-moi tout ce qui a été dit sur le béton", même si c'était il y a 5 ans).
- Résultat : C'est très bien pour des sujets complexes qui reviennent souvent, mais c'est plus lent et plus compliqué à mettre en place. Pour la plupart des cas, les "derniers documents" suffisent amplement.
2. Les Découvertes Surprenantes
Les chercheurs ont découvert trois choses majeures, qui changent la façon dont on devrait utiliser l'IA :
- Le contexte est plus important que la puissance de l'IA :
Peu importe si vous utilisez une IA très puissante (comme un super-héros) ou une petite IA (comme un apprenti), si vous lui donnez les bons documents récents, elle écrira aussi bien. Si vous ne lui donnez rien, même le super-héros échouera. C'est comme donner un marteau de forgeron à un enfant : sans savoir comment s'en servir (le contexte), il ne construira rien de bon. - Moins, c'est souvent mieux :
On pensait qu'il fallait tout lire pour bien comprendre. Non ! Regarder seulement les 3 à 5 dernières décisions donne presque les mêmes résultats que de lire tout l'historique. C'est comme regarder les 5 derniers épisodes d'une série pour comprendre l'intrigue actuelle : inutile de revoir les 100 premiers épisodes, sauf pour des détails très spécifiques. - La qualité des fiches humaines compte :
Si les fiches écrites par les humains sont vagues ou renvoient vers des liens externes ("Voir le wiki"), l'IA aura du mal à les imiter. Pour que l'IA soit bonne, les humains doivent d'abord apprendre à écrire des fiches claires et complètes.
3. La Conclusion en Une Phrase
Pour que l'IA écrive de bonnes fiches de décision architecturale, ne cherchez pas l'IA la plus puissante du monde. Cherchez plutôt à lui donner les 3 ou 5 dernières décisions prises par l'équipe. C'est la clé de voûte : un bon contexte vaut mieux qu'un gros cerveau.
En résumé, cette étude nous dit : "Arrêtez de surcharger vos IA avec des tonnes d'infos inutiles. Donnez-leur juste ce qu'elles ont besoin de savoir maintenant, et elles feront un travail excellent."
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.