LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
L'article présente LEDGER, une plateforme d'évaluation qui permet aux entreprises de créer des tests déterministes, auditables et conscients des coûts pour leurs systèmes d'IA métier en utilisant des données propriétaires, démontrant comment un modèle à poids ouverts auto-hébergé peut atteindre une précision de niveau frontière pour une fraction du coût des alternatives propriétaires.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde du travail moderne, les entreprises s'appuient de plus en plus sur l'intelligence artificielle pour répondre à des questions concernant leurs propres données internes. Un responsable de l'ingénierie pourrait demander combien de modifications de code ont été révisées la semaine dernière, ou un analyste financier pourrait demander le temps moyen nécessaire pour résoudre un type d'erreur spécifique. Ces systèmes ne sont pas seulement un simple programme informatique réfléchissant dans le vide ; ce sont des assemblages complexes où un modèle de langage est connecté aux bases de données privées de l'entreprise, guidé par des règles strictes sur ce qu'il peut ou ne peut pas révéler, et géré par un logiciel qui décide quels outils utiliser. Le défi pour toute entreprise est que ces systèmes sont fragiles. Un petit changement apporté au modèle, aux règles ou à la manière dont le logiciel communique avec la base de données peut soudainement rendre les réponses erronées. Bien qu'il existe des tests publics pour classer l'intelligence des différents modèles d'intelligence artificielle sur des tâches générales, ces scores ne prédisent pas la capacité d'un système spécifique d'une entreprise à fonctionner avec ses propres données et ses propres règles. Les entreprises ont besoin d'un moyen de tester leurs propres systèmes de manière répétée après chaque modification, en s'assurant que les réponses restent correctes et que le coût pour obtenir ces réponses reste gérable.
Une équipe de chercheurs chez Interval, une entreprise qui développe des outils d'informatique décisionnelle, a créé une nouvelle méthode appelée LEDGER pour résoudre ce problème. Au lieu de s'appuyer sur des scores publics, LEDGER transforme les propres données, questions et règles d'une entreprise en un test répétable et rigoureux. Le système fonctionne en créant des scénarios spécifiques : une question est posée, une réponse correcte spécifique est définie à l'avance, et un ensemble de preuves est préparé pour prouver si la réponse est juste. Cette preuve peut être un instantané figé d'une requête de base de données, une règle de politique spécifique ou un changement enregistré dans un tableau de bord de logiciel. Lorsque le système d'intelligence artificielle tente de répondre à la question, la plateforme LEDGER vérifie le résultat. Si la réponse est un simple nombre ou un fait clair, un contrôle déterministe — un programme informatique qui suit une logique stricte sans deviner — la score immédiatement. Si la réponse est rédigée dans une prose complexe que l'ordinateur ne peut pas facilement analyser, un autre agent d'intelligence artificielle examine alors la réponse, mais seulement après qu'un contrôle déterministe a confirmé que la preuve soutient l'affirmation. Chaque score est lié à la preuve spécifique qui l'a produit, créant une piste claire et auditable qui montre exactement pourquoi une réponse a été jugée correcte ou incorrecte.
Les chercheurs ont utilisé cette plateforme pour construire et tester un assistant d'informatique décisionnelle alimenté par DeepSeek V4 Flash, un puissant modèle à poids ouverts que l'entreprise héberge sur ses propres serveurs privés. Ils ont comparé ce système construit sur mesure à sept autres modèles de pointe, incluant cinq systèmes propriétaires de grandes entreprises technologiques et un autre modèle à poids ouverts. La comparaison était stricte : chaque système recevait exactement les mêmes outils, les mêmes données et le même ensemble de questions. Les résultats ont montré que lorsque le modèle à poids ouverts était enveloppé dans les outils et les règles spécifiques de l'entreprise, il performait aussi bien que les modèles propriétaires les plus avancés. Sur un ensemble de test de 97 scénarios soigneusement sélectionnés, le système personnalisé a répondu correctement à 96 d'entre eux, tandis que les autres modèles de haut niveau ont répondu correctement entre 94 et 97 fois. Cela a démontré que le « harnais » d'outils et de règles entourant le modèle est tout aussi important que le modèle lui-même. Sans ces outils et définitions spécifiques, le modèle ouvert performait légèrement moins bien, mais avec eux, il atteignait le même niveau de précision que les systèmes les plus coûteux et les plus sophistiqués.
La découverte la plus significative, cependant, concernait le coût. Bien que la précision soit similaire partout, le prix pour obtenir une réponse correcte variait considérablement. Les chercheurs ont calculé le coût par réponse correcte pour chaque système. Les modèles propriétaires, qui sont accessibles via des services cloud coûteux, coûtaient entre six et soixante-sept fois plus cher par réponse correcte que le modèle à poids ouverts auto-hébergé utilisé par Interval. Même lorsque les chercheurs ont appliqué les niveaux de tarification les plus bas disponibles pour les modèles propriétaires, ceux-ci coûtaient toujours nettement plus cher que la propre configuration privée de l'entreprise. Cela suggère que pour les entreprises ayant des besoins de données spécifiques, le choix du modèle porte moins sur la recherche du cerveau le plus « intelligent » que sur la recherche du bon équilibre entre précision, contrôle et coût. L'étude soutient qu'en utilisant un système de test rigoureux et auditable comme LEDGER, les entreprises peuvent choisir en toute confiance des modèles moins chers et auto-hébergés sans sacrifier la performance, à condition d'investir dans les bons outils et les bonnes règles pour les guider.
Les chercheurs ont pris soin de noter que leurs résultats sont spécifiques à leur propre charge de travail et à la manière particulière dont ils ont structuré leurs tests. Ils n'ont pas affirmé que ce modèle à poids ouverts est universellement supérieur à tous les autres dans toutes les situations, ni suggéré que les économies de coûts seraient identiques pour chaque entreprise. L'étude a mesuré la performance sur un ensemble spécifique de questions commerciales et a constaté que, pour ce type de travail, un système bien conçu autour d'un modèle moins cher peut égaler les résultats des options les plus coûteuses. L'idée clé est que la précision dans les applications commerciales n'est pas uniquement une propriété du modèle d'intelligence artificielle lui-même, mais de l'ensemble du système construit autour de lui. En rendant le processus de test transparent et répétable, les entreprises peuvent prendre des décisions d'ingénierie éclairées, passant du paiement aveugle pour les modèles les plus chers à la construction de systèmes qui sont à la fois précis et économiquement durables.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.