Résumé technique : Distillation auto-filtrée avec indicateurs de confiance générés par des LLM pour une classification fiable des brevets

1. Énoncé du problème

L'organisation de grands corpus de brevets constitue une tâche critique de gestion de l'information, essentielle pour la recherche d'antériorité, la découverte technologique et la prise de décision en matière de propriété intellectuelle. Cependant, la classification automatisée des brevets fait face à des défis uniques, notamment un terminologie spécialisée, des structures de revendications complexes et une ambiguïté stratégique, ce qui la rend plus difficile que la classification de textes dans des domaines généraux.

Les approches récentes tentent d'exploiter les grands modèles de langage (LLM) pour générer des rationnels en langage naturel (explications) afin d'améliorer l'interprétabilité et d'entraîner des modèles « élèves » plus petits via la distillation de connaissances. Cependant, une faille majeure existe dans ce paradigme : les rationnels générés par les LLM contiennent souvent des incohérences logiques, des discordances d'étiquettes et des désalignements sémantiques par rapport aux taxonomies spécifiques au domaine (par exemple, la Classification coopérative des brevets ou système CPC). Traiter ces rationnels comme des vérités de référence pour la supervision absorbe indistinctement ces erreurs lors de l'entraînement, compromettant la fiabilité de la classification et propageant les erreurs dans les processus d'information en aval. Les méthodes existantes manquent souvent d'un mécanisme pour évaluer quantitativement la qualité des rationnels pendant le processus d'apprentissage, ce qui conduit à la propagation d'hallucinations et à une dérive du domaine.

2. Méthodologie : Distillation auto-filtrée (SFD)

Les auteurs proposent la Distillation auto-filtrée (SFD), un cadre qui réinterprète les rationnels générés par les LLM non pas comme des étiquettes de vérité de référence, mais comme des indicateurs de confiance. Au lieu d'une correction a posteriori, la SFD intègre l'assurance qualité directement dans la boucle d'entraînement en modulant dynamiquement la contribution de chaque instance d'entraînement sur la base d'un score de confiance unifié.

Le cadre fonctionne en trois étapes :

A. Prédiction basée sur LLM et génération de raisonnement

Un LLM enseignant traite un texte de brevet d'entrée $x$ pour générer :

1. Un ensemble d'étiquettes prédites $\hat{Y}$.
2. Un rationnel en langage naturel $r$ expliquant la prédiction.
   Le modèle élève est entraîné pour minimiser la perte par rapport aux étiquettes de l'enseignant, mais le rationnel $r$ est utilisé uniquement pour estimer la fiabilité de l'échantillon, et non comme un signal de supervision direct.

B. Évaluation de la qualité du raisonnement (Score de confiance non supervisé)

Pour quantifier la fiabilité sans annotation humaine, la SFD intègre trois métriques non supervisées complémentaires dans un Score de confiance combiné (CTS) :

1. Auto-cohérence (SC) : Mesure la stabilité logique du raisonnement. Le modèle enseignant génère $k$ rationnels pour la même entrée. Le SC est calculé comme la moyenne de la similarité cosinus par paires de leurs plongements de phrases. Un SC élevé indique un raisonnement stable ; un SC faible suggère une génération stochastique ou instable.
2. Alignement de l'implication de classe (CEA) : Évalue la cohérence sémantique entre le rationnel et la définition de la classe assignée. Le système interroge un LLM pour obtenir la définition de la classe CPC prédite ($d_{\hat{y}}$) et calcule la similarité cosinus entre le plongement du rationnel et le plongement de la définition de la classe. Cela garantit que le raisonnement s'aligne sur la taxonomie spécifique du domaine.
3. Score d'accord LLM (LAS) : Évalue la plausibilité externe en utilisant un LLM vérificateur indépendant ($LLM_{judge}$). Ce modèle externe évalue la paire $(r, \hat{y})$ et renvoie un score de confiance, atténuant la surconfiance potentielle du générateur.

Le CTS est calculé comme la moyenne simple de ces trois scores :
$$CTS(x) = \frac{1}{3}(SC(x) + CEA(x) + LAS(x))$$

C. Contrôle d'entraînement sensible à la confiance

Le CTS est utilisé pour moduler la contribution à l'apprentissage de chaque échantillon de deux manières :

1. Pondération douce : La fonction de perte pour chaque échantillon est mise à l'échelle proportionnellement à son CTS. Les échantillons avec de faibles scores de confiance contribuent moins aux mises à jour du gradient.
2. Seuillage dur : Les échantillons avec un CTS inférieur à un seuil prédéfini $\tau$ sont complètement exclus de l'entraînement.

L'objectif d'entraînement final minimise la perte pondérée par la confiance :
$$L = \sum_{x \in D} \mathbb{1}\{CTS(x) \ge \tau\} \cdot CTS(x) \cdot Loss(f_\theta(x), y)$$

3. Contributions clés

L'article expose trois contributions principales :

• Distillation sélective sensible à la confiance : La proposition de la SFD, qui réinterprète les rationnels LLM comme des indicateurs de confiance et intègre trois métriques non supervisées (SC, CEA, LAS) pour moduler dynamiquement les contributions à l'entraînement, faisant progresser la distillation de connaissances sous supervision bruyante.
• Cadre d'organisation fiable de l'information : Le mécanisme de score de confiance fournit des mesures de confiance quantitatives pour chaque décision, permettant l'auditabilité et un contrôle qualité transparent de l'organisation automatisée des connaissances sur les brevets à grande échelle.
• Validation dans un domaine à haut risque : La validation de la SFD sur la classification des brevets, un domaine où une mauvaise classification a des conséquences juridiques et économiques tangibles, démontre que la distillation sensible à la confiance est efficace précisément là où la fiabilité est la plus critique.

4. Résultats expérimentaux

Le cadre a été évalué sur le benchmark USPTO-2M, comprenant plus de 2 millions de brevets d'utilité américains répartis sur 637 sous-classes CPC.

• Performance par rapport aux références : La SFD a obtenu un score Micro-F1 de 0,960, surpassant la référence la plus forte (Distillation augmentée par rationnel) de 1,6 point de pourcentage. Notamment, les références de filtrage à métrique unique (par exemple, auto-cohérence uniquement ou LLM-comme-juge uniquement) ont sous-performé même la distillation naïve, soulignant la nécessité d'une approche multifacette.
• Amélioration du Macro-F1 : Sur des architectures élèves plus grandes (par exemple, Falcon3-3B), la SFD a obtenu une amélioration relative de 38,7 % du Macro-F1 par rapport aux références, démontrant que le mécanisme de confiance permet efficacement d'apprendre à partir de données filtrées de haute qualité, même pour les classes minoritaires.
• Études d'ablation :
  • Le CEA a été identifié comme la métrique la plus critique ; son retrait a provoqué une chute sévère des performances (la précision sur les sous-ensembles est passée de 0,930 à 0,695), confirmant que l'alignement taxonomique est essentiel pour la classification des brevets.
  • Le LAS a fourni un filtrage complémentaire contre les hallucinations factuelles.
  • Le SC a principalement stabilisé les performances pour les classes minoritaires.
• Indépendance vis-à-vis du modèle : Le cadre a systématiquement amélioré les performances sur quatre architectures élèves diverses (allant de 0,6 à 3,8 milliards de paramètres), prouvant que le signal de confiance est indépendant des biais inductifs spécifiques des modèles.
• Corrélation humaine : Les scores de confiance ont montré une forte corrélation avec les jugements d'experts humains ($r = 0,685$), validant que les métriques non supervisées approximent efficacement la qualité réelle du raisonnement.

5. Importance et revendications

L'article affirme que la SFD représente un changement de paradigme dans l'organisation automatisée des connaissances. Plutôt que de s'appuyer sur un pipeline séquentiel de « classifier d'abord, vérifier ensuite », la SFD intègre l'assurance qualité directement dans le processus d'apprentissage.

• Du post-hoc à l'intrinsèque : Le cadre transforme le contrôle qualité d'une fonction d'audit externe en une propriété intrinsèque du modèle appris.
• Confiance décomposable : En décomposant le score de confiance en SC, CEA et LAS, le système fournit des résultats de classification « auto-documentés ». Si une décision présente une stabilité interne élevée mais un faible alignement taxonomique, le système signale explicitement ce mode de défaillance spécifique, aidant l'examen humain.
• Évolutivité et fiabilité : Les auteurs soutiennent que la SFD résout la tension entre l'échelle de l'automatisation et la fiabilité organisationnelle. Elle permet le traitement de corpus massifs de brevets tout en garantissant que le signal d'entraînement lui-même est sélectionné pour sa fiabilité, empêchant la propagation d'erreurs dans les flux de travail de propriété intellectuelle à haut risque.

L'étude conclut que si le mécanisme de confiance entraîne des améliorations de performance, les gains spécifiques en Macro-F1 dépendent de la capacité, suggérant que les modèles plus grands sont mieux à même d'exploiter les échantillons filtrés de haute qualité pour apprendre des frontières de décision complexes pour les classes rares.