💻 computer science

Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study

Cet article présente une étude combinée démontrant que la distillation amplifiée par ontologie d'un modèle Qwen3.6-27B sur un seul Apple M5 Max atteint un ancrage dans les tâches financières vietnamiennes comparable à une référence GPT-5, mais manque de puissance statistique pour prouver sa supériorité, tandis qu'un pilote d'audit de contextualité concomitant produit des résultats négatifs indiquant une contextualité résiduelle nulle, échouant collectivement à établir la déployabilité, la sécurité ou l'équivalence statistique pour les modèles de langage d'entreprise souverains.

Auteurs originaux : Thanh Luong Tuan

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thanh Luong Tuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une banque très stricte au Vietnam. Les règles stipulent que vous ne pouvez pas envoyer les fichiers secrets des comptes de vos clients vers un serveur cloud d'IA géant et super intelligent situé dans un autre pays. Vous devez tout garder à l'intérieur de votre propre bâtiment. Mais voici le problème : l'IA « locale » que vous pouvez faire fonctionner sur vos propres ordinateurs est généralement moins intelligente que l'IA cloud géante.

Cet article pose une grande question : Pouvons-nous apprendre à notre IA locale, plus petite, à être aussi douée que la géante IA cloud pour suivre le manuel de règles spécifique de la banque ?

Les chercheurs ont essayé une astuce ingénieuse appelée « Distillation amplifiée par l'ontologie ». Imaginez cela comme suit : imaginez que l'IA cloud géante est un chef cuisinier expert qui sait cuisiner de tout. L'IA locale est un chef junior. Au lieu de simplement dire au chef junior de « copier le maître », ils lui ont donné une fiche de recette spéciale et surlignée (l'« ontologie ») qui liste exactement quels ingrédients (termes) doivent être mentionnés pour un plat spécifique. Ils ont ensuite entraîné le chef junior en lui montrant les réponses du maître avec la fiche de recette et les réponses du maître sans elle, en récompensant le chef junior uniquement lorsqu'il utilisait la fiche correctement.

Le Résultat : Une Égalité, Pas une Victoire
Après avoir entraîné le chef junior (un modèle appelé Qwen3.6-27B) sur un seul ordinateur Apple M5 Max en utilisant seulement 47 questions d'entraînement fictives, ils l'ont mis à l'épreuve. Ils lui ont donné 40 questions réelles du secteur bancaire en vietnamien.

Voici le score :

Le Chef Junior Local : A réussi 36 questions sur 40 (ce qui signifie qu'il a mentionné les termes requis du manuel de règles).
Le Chef Cloud Géant (GPT-5) : A également réussi 36 questions sur 40 (mentionnant les mêmes termes).

Ils ont fait match nul ! Le modèle local a réussi à égaler le géant sur ce test spécifique.

Mais Attendez, N'ouvrez Pas le Champagne Tout de Suite
L'article prend grand soin de ne pas appeler cela une « victoire » ou une « percée ». En voici les raisons :

C'est un Petit Échantillon : Le test ne comportait que 40 questions. Les auteurs disent que c'est trop peu pour prouver qu'ils sont exactement égaux. C'est comme lancer une pièce 40 fois et obtenir 20 piles et 20 faces ; cela semble équilibré, mais on ne peut pas être sûr à 100 % que la pièce est équilibrée. Les mathématiques montrent que la différence réelle pourrait être de jusqu'à 4 questions dans un sens ou dans l'autre.
Le Test Était Facile : Le test ne demandait pas si les réponses étaient correctes ou complètes. Il demandait seulement : « Avez-vous mentionné au moins un des mots magiques du manuel de règles ? » C'est comme noter un élève uniquement sur le fait qu'il a écrit le mot « pomme » dans une dissertation sur les fruits, et non sur le fait que la dissertation a du sens.
L'Entraînement Était Faux : Les questions d'entraînement utilisées pour enseigner au chef junior ont été générées par un ordinateur, écrites en anglais, et concernaient la santé et l'assurance — et non les véritables questions bancaires sur lesquelles ils ont été testés. L'article admet qu'il s'agit d'une « preuve de mécanisme » (montrant que l'idée fonctionne en théorie) plutôt que d'une « affirmation de déploiement » (prouvant qu'elle est prête pour la vie réelle).
Pas de « Super » Pouvoir : Avant l'étude, les chercheurs espéraient que le modèle local finirait par battre le géant car le manuel de règles aide davantage les petits modèles que les grands. Cela n'est pas arrivé. Ils ont simplement égalé le score.

La Deuxième Partie : Le Détecteur de « Confusion »
L'article teste également une seconde idée : un « Audit de Contextualité ». Imaginez que vous posiez la même question à l'IA mais que vous changiez le rôle qu'elle joue (par exemple, « Agissez en tant que gestionnaire de risques » contre « Agissez en tant que vendeur »). Parfois, la réponse change. Est-ce parce que l'IA est confuse et peu fiable ? Ou est-elle simplement en train de réagir normalement à son nouveau rôle ?

Les chercheurs ont mené un test pilote avec 576 résultats. Ils ont découvert que ce qui ressemblait à de la « confusion » était en fait une réaction de l'IA au nouveau rôle ou à la façon dont la question était formulée. Une fois qu'ils ont pris cela en compte, il ne restait plus aucune « confusion » ou comportement étrange de type quantique.

La Découverte : L'article écarte l'idée que l'IA est secrètement « contextuelle » de manière imprévisible et spectaculaire.
La Leçon : Si une IA donne des réponses différentes, ne paniquez pas et ne l'envoyez pas immédiatement à un humain. Vérifiez d'abord si le changement est simplement dû au changement de rôle ou de formulation. Si c'est le cas, c'est normal. N'appelez un humain que si la réponse est toujours étrange après avoir corrigé ces éléments.

L'Essentiel à Retenir
Cet article est un rapport de « preuve de concept ». Il dit : « Hé, nous avons montré qu'une petite IA locale peut être entraînée pour égaler une IA géante sur un test spécifique et étroit en utilisant une méthode de manuel de règles spéciale. Nous avons également montré que nous pouvons faire la différence entre une 'réaction normale' et une 'véritable confusion' dans les réponses de l'IA. »

Cependant, les auteurs sont très clairs : ceci n'est pas encore prêt pour le monde réel. Ils n'ont pas prouvé que l'IA est sûre, ils n'ont pas prouvé qu'elle fonctionne sur des questions plus difficiles, ils n'ont pas prouvé qu'elle fonctionne sur les modèles plus petits qu'ils souhaitent réellement utiliser, et ils n'ont pas prouvé qu'elle fonctionne avec de vrais experts humains. C'est une première étape prometteuse, comme un pilote qui vole un avion pour la première fois et atterrit en toute sécurité, mais avant de laisser cet avion transporter des passagers, vous avez besoin de beaucoup plus de tests.

Résumé Technique : Distillation Amplifiée par l'Ontologie et Audit de la Contextualité pour les Modèles de Langage d'Entreprise Souverains

Énoncé du Problème
Les institutions financières réglementées au Vietnam opèrent sous des règles strictes de résidence des données qui interdisent l'envoi de données clients vers des API de modèles frontières étrangers. Par conséquent, le déploiement local d'un modèle au sein du périmètre de l'institution est une exigence de conformité, et non une simple alternative d'économie de coûts. Le défi central est de déterminer si un modèle « étudiant » plus petit, déployable localement, peut atteindre la même qualité d'ancrage de domaine qu'un modèle frontière (ex. : GPT-5) lorsqu'il est restreint à un matériel sur site. Des travaux antérieurs ont établi que la fourniture d'une ontologie de domaine améliore la fidélité d'un modèle frontière, mais il restait non prouvé si l'ancrage ontologique pouvait élever un modèle étudiant au niveau de parité avec un modèle frontière sur des tâches réglementées, particulièrement étant donné la couverture paramétrique plus mince du modèle étudiant pour les domaines spécialisés.

Méthodologie
L'étude emploie une approche en deux parties : une preuve de mécanisme à puissance réduite pour la distillation de modèle et un audit consolidé de la contextualité pour le routage d'agents.

Distillation Amplifiée par l'Ontologie :
- Modèle : Un modèle étudiant Qwen3.6-27B a été adapté localement sur un seul Apple M5 Max (128 Go de mémoire unifiée) en utilisant le framework MLX.
- Pipeline d'Entraînement :
  - Capture : Des modèles enseignants frontières (GPT-5 et GPT-5-mini) ont généré 451 trajectoires ancrées en injectant une tranche d'ontologie spécifique (« Foundation AgenticOS » couvrant les rôles, les concepts de domaine, les réglementations et les schémas d'interaction) dans les prompts.
  - Fine-Tuning Supervisé (SFT) : Un adaptateur de bas rang (LoRA) a été entraîné sur ces trajectoires, réduisant la perte de 2,370 à 0,496.
  - Optimisation de Préférence Directe (DPO) ancrée sur l'Ontologie : L'étudiant a été affiné davantage sur 47 paires de préférences synthétiques (42 d'entraînement, 5 de validation). Dans chaque paire, la réponse de la frontière ancrée par l'ontologie était marquée comme « préférée », et la réponse du modèle de base sans la tranche d'ontologie était marquée comme « non préférée ». Cela a permis d'isoler l'apprentissage du comportement ancré par l'ontologie de l'imitation générale de la frontière.
- Évaluation : L'étudiant a été évalué par rapport à GPT-5 sur un ensemble de 40 tâches du domaine financier vietnamien (banque, assurance, marchés de capitaux, technologie immobilière).
- Métrique : Une métrique locale et déterministe de « conformité à l'ontologie » ( $r_{onto}$ ) a été utilisée. Elle attribue un score de 1,0 si une réponse mentionne au moins un terme de l'ontologie de la tâche, et 0,5 sinon. Cette métrique agit comme un proxy dégénéré d'un composite de conformité à quatre composantes, se concentrant strictement sur la présence de termes plutôt que sur la correction ou l'exhaustivité de la réponse.
Audit de la Contextualité :
- Un pilote séparé (RA-15) a testé le cadre « Contextuality-by-Default » (CbD) pour le routage d'agents d'entreprise.
- L'audit visait à distinguer l'« influence directe » (où les changements de prompt modifient naturellement les réponses), le « couplage de construit » (construct coupling) et la « contextualité résiduelle » (l'incohérence restant après avoir pris en compte l'influence directe).
- L'étude a analysé les sorties à travers plusieurs phases (1.0 à 1.3) impliquant des cadres de rôles, l'ordre des prompts et la formulation des construits, en utilisant les modèles locaux Qwen et Gemma.

Résultats Clés

Parité de Distillation : Sur les 40 tâches testées, l'étudiant distillé a ancré 36 tâches (taux d'ancrage de 90 % ; moyenne $r_{onto} = 0,95$ $r_{o n t o} = 0, 95$ ), atteignant exactement le même décompte que la référence frontière GPT-5.
- Modèle de Désaccord : Les modèles ont manqué des tâches différentes. L'étudiant a manqué deux tâches de marchés de capitaux et deux de technologie immobilière, tandis que la frontière a manqué une tâche de marchés de capitaux et trois de technologie immobilière. Deux tâches ont été manquées par les deux.
- Limite Statistique : Avec $n=40$ , l'intervalle de confiance à 95 % pour la différence appariée s'étend à ±4 tâches. Le résultat établit une estimation ponctuelle égale mais ne démontre pas d'équivalence ou de supériorité statistique. L'étude note explicitement qu'elle n'a pas réussi à confirmer l'hypothèse d'« amplification » pré-enregistrée (selon laquelle l'étudiant dépasserait la frontière).
Mécanisme d'Entraînement : L'objectif DPO a réussi à séparer les paires de préférences. La précision de préférence de validation est passée de 0 à 1,0, et la marge de récompense a augmenté à 0,307 en un seul époque, indiquant que l'étudiant a appris à faire émerger les termes de l'ontologie lorsqu'ils sont présentés avec la tranche.
Audit de la Contextualité : Le pilote a produit un résultat négatif concernant la contextualité résiduelle. Après correction des résidus de dérive de probabilité et application des corrections d'influence directe d'échelle d'espérance, le degré CbD canonique était nul pour tous les groupes de la Phase 1.3, tant pour les exécutions Qwen locales que Gemma. Le signal utile identifié était l'influence directe et le couplage de construit, et non la contextualité résiduelle survivante.

Signification et Revendications
Le document se positionne comme une étude de « mécanisme et de contrôle » plutôt que comme une solution prête au déploiement. Ses principales contributions sont :

Une Recette d'Entraînement : Il spécifie la « distillation amplifiée par l'ontologie » comme une méthode pour transférer des comportements spécifiques d'adhérence à l'ontologie aux modèles souverains, en séparant ce comportement de l'imitation générale de la frontière.
Un Diagnostic de Gouvernance : Il propose une méthode d'audit de la contextualité pour déterminer quand un désaccord de modèle doit déclencher une escalade (ex. : débat, synthèse, revue humaine). La conclusion selon laquelle la contextualité résiduelle est nulle dans le pilote suggère que les désaccords apparents sont souvent explicables par l'influence directe ou le couplage de construit, plaidant pour une « règle de précurseur plus sûre » pour auditer ces facteurs avant d'escalader les tâches.
Limitation Honnête du Champ d'Application : Les auteurs déclarent explicitement que les preuves ne soutiennent pas les affirmations de déployabilité, de sécurité, de supériorité ou d'équivalence statistique. L'étude est « sous-dimensionnée » pour exclure des lacunes réelles, utilise des données de préférence synthétiques uniquement en anglais pour une évaluation vietnamienne, et repose sur une métrique de couverture de termes grossière.
Transparence du Double Usage : Le document reconnaît le double rôle du chercheur, cofondateur de plateforme et universitaire, notant que l'étude sert à la fois de preuve de concept interne pour un modèle souverain et de contribution académique.

Conclusion
L'étude démontre qu'un modèle Qwen3.6-27B déployable localement, affiné via une distillation ancrée sur l'ontologie, peut égaler la performance de couverture de termes d'un modèle frontière sur un ensemble spécifique de tâches financières vietnamiennes. Cependant, cette parité est une preuve de mécanisme à puissance réduite. Le document conclut qu'une évaluation à pleine puissance est nécessaire pour évaluer les coûts, la sécurité (abstention sur les prompts hors distribution), la performance inter-échelles (ex. : modèles 14B) et l'ancrage translinguistique avant que toute affirmation de déploiement ne puisse être faite. L'audit de la contextualité suggère en outre que le routage d'entreprise devrait prioriser le diagnostic de l'influence directe et du couplage de construit avant de supposer que la contextualité résiduelle nécessite une intervention multi-agents complexe.

Articles similaires