Résumé technique : Modèles de langage de grande taille pour la classification des brevets

Problématique

La classification des brevets dans les codes de la Classification Coopérative des Brevets (CPC) est une tâche fondamentale pour l'analyse du changement technologique, mais elle présente des défis importants en raison de sa nature hiérarchique, multi-étiquette et hautement déséquilibrée. Bien que les modèles d'encodeurs supervisés (par exemple, BERT, SciBERT) soient devenus la norme de facto pour la classification à grande échelle, ils présentent un biais documenté envers les sous-classes fréquentes, peinant à classifier avec précision les technologies rares, émergentes ou transdomaines. À l'inverse, les modèles de langage de grande taille (LLM) offrent des capacités de zero-shot et de few-shot qui peuvent mieux gérer ces catégories de la « longue traîne ». Cependant, la mesure dans laquelle les LLM peuvent compléter les encodeurs dans ce domaine spécifique, et si leurs avantages justifient leurs coûts computationnels et environnementaux nettement plus élevés, demeure une question empirique ouverte.

Méthodologie

Les auteurs mènent une comparaison systématique entre des classificateurs basés sur des encodeurs supervisés et des LLM à poids ouverts (open-weight) ajustés par instruction en utilisant le benchmark USPTO-70k (70 250 brevets). L'étude emploie un protocole de division temporelle (entraînement : 2006–2017 ; validation : 2018 ; test : 2019) pour simuler des conditions de déploiement réalistes.

Modèles évalués

1. Encodeurs de référence (Baselines) : Trois encodeurs basés sur Transformer ont été affinés sur les données d'entraînement :
   • BERT : Usage général.
   • SciBERT : Adapté au domaine de la littérature scientifique.
   • PatentSBERTa : Adapté spécifiquement aux corpus de brevets.
2. Modèles de langage de grande taille (LLM) : Quatre LLM ajustés par instruction dans la gamme de 7–8 milliards de paramètres (choisis pour leur faisabilité sur des stations de travail à GPU unique) ont été évalués sans affinement complet initialement :
   • Phi-3 Mini, Mistral-7B, LLaMA-3.1-8B et Qwen-2.5-7B.

Stratégies d'inférence pour les LLM

Les LLM ont été évalués sous quatre configurations de prompting pour évaluer l'impact du contexte :

• Zero-shot : Aucun exemple fourni.
• Few-shot : Inclut 5 exemples étiquetés (2 statiques, 3 récupérés dynamiquement sur la base de la similitude sémantique).
• Génération augmentée par récupération (RAG) : Récupère les 20 meilleures définitions de sous-classes CPC (codes et descriptions) pertinentes au texte du brevet pour contraindre l'espace de sortie.
• Hybride : Combinaisons de Few-shot et de RAG.

Adaptation et validation externe

• Affinage efficace des paramètres (PEFT) : Le meilleur LLM (Qwen-2.5-7B) a été davantage adapté via LoRA (Low-Rank Adaptation) pour tester si un apprentissage supervisé léger pouvait combler l'écart de performance.
• Validation externe : Pour évaluer la généralisabilité, les modèles ont été évalués sur un ensemble de données indépendant de 10 000 brevets de l'Office européen des brevets (OEB) (2019–2022) sans réentraînement.
• Métriques d'efficacité : Le coût computationnel, le temps d'inférence et la consommation d'énergie (émissions de CO2) ont été quantifiés à l'aide du framework CodeCarbon.

Métriques d'évaluation

La performance a été mesurée via le F1-Micro (dominé par les étiquettes fréquentes), le F1-Macro (étiquettes équilibrées) et le F1 Hiérarchique (tenant compte de la structure taxonomique de la CPC). La signification statistique a été évaluée par des tests non paramétriques appariés (Wilcoxon signed-rank) sur la performance par sous-classe.

Résultats clés

1. Compromis de performance : Fréquence vs Rareté

• Dominance des encodeurs sur les sous-classes fréquentes : Les encodeurs supervisés, particulièrement SciBERT, ont obtenu des scores F1-Micro supérieurs (0,439 contre 0,182 pour la meilleure configuration de LLM). Cette performance est portée par leur capacité à classifier correctement les sous-classes à haute fréquence qui dominent l'ensemble de données.
• Avantage des LLM sur les sous-classes rares : Les LLM, surtout lorsqu'ils sont augmentés par Few-shot + RAG, ont démontré une bien meilleure performance sur les sous-classes rares et peu fréquentes (les 20 % inférieurs de la distribution de fréquence). Ils ont obtenu des scores F1-Macro et F1 Hiérarchique plus élevés, indiquant une meilleure couverture de la longue traîne.
• Limites de LoRA : L'affinage efficace des paramètres (LoRA) de Qwen-2.5-7B n'a pas produit d'améliorations constantes par rapport à l'inférence par prompting seul, suggérant que pour cette tâche, la contextualisation au moment de l'inférence (prompting et récupération) est plus efficace que l'adaptation supervisée légère.

2. Coûts computationnels et environnementaux

• Écart d'efficacité : Les modèles basés sur des encodeurs sont des ordres de grandeur plus efficaces. Ils terminent l'inférence en 1 à 2 minutes avec une consommation d'énergie de ~0,01 kWh.
• Surcharge des LLM : L'inférence par LLM nécessite de 30 minutes à plus de 4 heures par exécution, consommant 0,2–2,1 kWh. Les encodeurs sont environ 15 à 250 fois plus rapides et 20 à 200 fois plus économes en énergie que les LLM.
• Inefficacité du Zero-shot : Les configurations Zero-shot des LLM se sont révélées particulièrement inefficaces, offrant de faibles performances de classification pour des coûts énergétiques élevés.

3. Validité externe

Les compromis de performance observés sur l'ensemble de données USPTO étaient robustes lors de l'application à l'ensemble de données de l'OEB. Les encodeurs ont maintenu une supériorité du F1-Micro, tandis que les LLM ont continué à montrer une meilleure couverture des sous-classes rares, confirmant que les conclusions ne sont pas spécifiques à un seul office de brevets ou à un seul ensemble de données.

Signification et contributions

L'article soutient qu'aucune approche n'est universellement supérieure ; elles jouent plutôt des rôles complémentaires dans la classification des brevets :

1. Potentiel hybride : L'étude motive des approches de classification hybrides où des encodeurs efficaces gèrent la classification de routine et à haut volume des technologies établies, tandis que les LLM sont déployés de manière sélective pour assister les technologies rares, émergentes ou transdomaines où les encodeurs présentent un faible rappel.
2. Réflexivité méthodologique en scientométrie : Les auteurs soulignent que le choix du modèle de classification façonne systématiquement la visibilité des catégories technologiques dans les analyses en aval. S'appuyer uniquement sur des encodeurs peut introduire un biais qui rend les technologies émergentes ou faiblement institutionnalisées « invisibles » dans les indicateurs brevetométriques.
3. Déploiement d'une IA responsable : Les conclusions soulignent la nécessité de l'équilibre entre performance prédictive et durabilité. Le coût énergétique élevé des LLM les rend inadaptés à une application massive et indiscriminée, suggérant que leur utilisation doit être ciblée et guidée par un objectif précis.

En conclusion, l'article fournit une base empirique contrôlée pour comprendre les compromis entre la scalabilité des modèles basés sur des encodeurs et la flexibilité sémantique des LLM, plaidant pour une approche pluraliste de la classification des brevets qui tienne compte du déséquilibre des données, des contraintes computationnelles et des objectifs spécifiques de l'analyse.