Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

Cet article démontre que, pour la classification de texte à étiquette unique sous contrainte de ressources, le fine-tuning de modèles de langage causaux avec une tête de classification sur les embeddings du dernier token est nettement plus économe en paramètres que l'instruction tuning, tout en offrant des performances comparables ou supérieures à la fois aux modèles de langage causaux instructionnés et aux modèles BERT spécifiques au domaine.

L'essentiel

Imaginez que vous avez un assistant de bibliothèque géant et incroyablement intelligent (un modèle de langage à grande échelle, ou LLM) qui a lu presque tout ce qui existe dans le monde. Vous souhaitez engager cet assistant pour trier un immense tas de documents de brevets dans des catégories spécifiques. Le problème ? Cet assistant est énorme, coûteux à faire fonctionner et généralement entraîné pour écrire des histoires, pas pour trier des fichiers.

Ce papier est un guide expliquant comment enseigner à cet assistant géant à trier des fichiers efficacement, en utilisant une seule carte graphique standard (GPU) au lieu d'un supercalculateur. Les auteurs ont testé deux méthodes différentes pour entraîner l'assistant et ont constaté que l'une est bien supérieure à l'autre pour ce travail spécifique.

Voici le détail de leurs découvertes, illustré par des analogies simples :

Les deux méthodes d'entraînement

Les chercheurs ont essayé deux « camps d'entraînement » différents pour l'assistant :

1. La méthode « Classeur de dossiers » (basée sur les embeddings)

• Fonctionnement : Imaginez que vous demandez à l'assistant de lire un document, puis de vous remettre une seule note de résumé parfaite écrite sur la dernière page. Vous attachez ensuite un petit étiqueteur simple (une « tête de classification ») à cette note pour décider dans quel dossier le document doit être rangé.
• L'astuce : Ils n'ont pas réentraîné l'assistant entier. Ils ont simplement appris à l'assistant à écrire cette unique note de résumé parfaite et à utiliser l'étiqueteur. Ils ont utilisé une technique appelée « LoRA » (Low-Rank Adaptation), qui revient à donner à l'assistant un ensemble de post-it sur lesquels écrire, plutôt que de réécrire tout son cerveau.
• Résultat : Cette méthode était incroyablement rapide, peu coûteuse et précise. Elle a utilisé très peu de ressources « entraînables » (comme un petit budget) mais a accompli le travail parfaitement.

2. La méthode « Chatbot » (basée sur les instructions)

• Fonctionnement : Au lieu de demander une note de résumé, vous parlez à l'assistant comme à un chatbot. Vous dites : « Voici un document. Veuillez me dire à quelle catégorie il appartient. » L'assistant doit alors taper la réponse mot par mot.
• L'astuce : Cela oblige l'assistant à apprendre à suivre des instructions et à générer du texte dans un format spécifique.
• Résultat : Cette méthode était plus lente et nécessitait un budget beaucoup plus important (plus de ressources « entraînables ») pour obtenir de bons résultats. Elle fonctionnait correctement pour des tâches complexes avec de nombreuses catégories, mais elle était souvent capricieuse quant à la formulation de la question. Si l'invite était légèrement décalée, l'assistant pouvait se confondre ou écrire des mots supplémentaires qui cassaient le système.

Le grand affrontement : Ce qu'ils ont découvert

Les auteurs ont testé ces méthodes sur des données de brevets (documents juridiques concernant des inventions) et les ont comparées à des modèles plus anciens et plus petits (comme BERT) conçus spécifiquement pour des tâches de tri.

• Pour le tri à étiquette unique (une catégorie par document) :
  La méthode « Classeur de dossiers » a gagné haut la main. Elle égalait ou surpassait même les modèles spécialisés plus anciens et la méthode « Chatbot », tout en utilisant 10 à 30 fois moins de ressources. C'était comme utiliser un couteau suisse pour couper un steak : cela fonctionnait aussi bien qu'un couteau de chef, mais était beaucoup plus léger et moins cher à transporter.

• Pour le tri à étiquettes multiples (plusieurs catégories par document) :
  La méthode « Chatbot » avait un léger avantage, mais seulement si vous étiez prêt à dépenser beaucoup plus d'argent pour l'entraînement (en utilisant un énorme budget de ressources). Même dans ce cas, la méthode « Classeur de dossiers » restait très compétitive.

• Vitesse et efficacité :
  La méthode « Classeur de dossiers » était beaucoup plus rapide, tant pour l'entraînement que pour l'exécution. La méthode « Chatbot » était plus lente car elle devait « réfléchir » et taper la réponse lettre par lettre, tandis que la méthode « Classeur de dossiers » se contentait de regarder la note de résumé et de cliquer sur un bouton.

La « magie » du petit budget

L'une des découvertes les plus cool est que vous n'avez pas besoin d'un modèle massif et coûteux pour obtenir d'excellents résultats.

• Ils ont utilisé un modèle relativement petit (3 milliards de paramètres) avec la méthode « Classeur de dossiers » et il a battu la méthode « Chatbot » utilisant un modèle beaucoup plus grand.
• Ils ont même testé la méthode « Chatbot » sur les modèles les plus coûteux et les plus avancés disponibles auprès des grandes entreprises technologiques (comme GPT-5 et Claude Opus) sans les entraîner du tout. Même ces modèles super-intelligents et figés n'ont pas pu battre le petit modèle « Classeur de dossiers » entraîné. C'est comme un mécanicien local bien formé qui bat une voiture de Formule 1 toute neuve et non entraînée pour une réparation spécifique.

Le hic (Limites)

Le papier est honnête sur les endroits où cette méthode n'est pas parfaite :

• Vitesse vs Précision : Bien que la méthode « Classeur de dossiers » soit excellente, elle est encore environ 20 fois plus lente que les modèles spécialisés plus anciens (BERT) en termes de vitesse pure. Si vous devez trier des millions de documents par seconde, les modèles plus anciens restent les rois de la vitesse.
• Confiance statistique : La méthode « Classeur de dossiers » était numériquement meilleure, mais la différence n'a pas été statistiquement « prouvée » comme étant énorme dans chaque test individuel. Elle est constamment meilleure, mais la marge de victoire est parfois faible.
• Instabilité de l'entraînement : Parfois, la méthode « Classeur de dossiers » échouait à apprendre si le point de départ aléatoire (la « graine ») était malchanceux, obligeant les chercheurs à essayer plusieurs fois pour obtenir un bon résultat.

La conclusion

Si vous devez trier des documents textuels (comme des brevets) et que vous disposez d'une puissance informatique limitée (comme une seule carte graphique), la meilleure stratégie est de traiter le modèle d'IA géant comme un extracteur de caractéristiques (la méthode « Classeur de dossiers »). N'essayez pas de le faire discuter ou écrire des essais ; demandez-lui simplement de résumer le document et attachez un petit étiqueteur. Cette approche est moins chère, plus rapide et souvent plus précise que d'essayer d'enseigner à l'IA à suivre des instructions complexes ou d'utiliser des modèles spécialisés plus anciens.

Résumé technique

Résumé Technique : Affinage Fin de Modèles de Langage Causaux pour la Classification de Texte

Énoncé du Problème
La classification de texte a traditionnellement reposé sur l'affinage fin de transformateurs basés sur des encodeurs (par exemple, BERT, RoBERTa), qui utilisent un token de classification spécial (par exemple, [CLS]) pour agréger les informations de la séquence. En revanche, les grands modèles de langage (LLM) de type décodeur uniquement (causaux) sont pré-entraînés pour la prédiction du token suivant avec une attention de gauche à droite, ne disposant ni d'un token de classification explicite ni d'une visibilité bidirectionnelle sur l'entrée. Bien que les LLM causaux possèdent des milliards de paramètres entraînés sur des billions de tokens, leur adaptation à la classification est difficile en raison de leur taille, rendant souvent l'affinage complet inenvisageable sur du matériel à GPU unique. Cet article examine si les LLM causaux peuvent être efficacement affinés pour la classification dans des conditions de contraintes de ressources et compare deux stratégies d'adaptation distinctes : l'affinage basé sur les plongements (embeddings) versus l'affinage basé sur les instructions.

Méthodologie
Les auteurs évaluent deux approches en utilisant l'adaptation à faible rang quantifiée (QLoRA) pour permettre l'entraînement sur un seul GPU NVIDIA L4 (24 Go de VRAM). Tous les modèles sont chargés en précision 4 bits (NF4) en utilisant la bibliothèque BitsAndBytes, seuls les adaptateurs LoRA et les têtes spécifiques à la tâche étant mis à jour.

1. Approche 1 : Affinage Fin Basé sur les Plongements (Ajustement du Décodeur)

   • Mécanisme : Le LLM causal agit comme un extracteur de caractéristiques. L'état caché du token final (qui attente implicitement à tous les tokens précédents) est extrait comme une représentation de séquence. Une tête de classification légère (couche linéaire ou réseau de neurones feed-forward) est attachée à ce plongement pour prédire les étiquettes de classe.
   • Entraînement : Optimisation directe des posteriors de classe via l'entropie croisée (étiquette unique) ou l'entropie croisée binaire (étiquettes multiples). Le rang LoRA ($r$) est fixé à 8 ou 16, avec un petit sous-ensemble de paramètres (généralement 5,6 M à 42 M) mis à jour.
   • Inférence : Un seul passage avant produit le plongement du token final, suivi d'un calcul de couche de classification légère.

2. Approche 2 : Affinage Fin Basé sur les Instructions

   • Mécanisme : La tâche de classification est reformulée comme un problème de génération de réponse à une invite. Les entrées sont converties en invites (par exemple, "Quelle est la catégorie ?"), et le modèle est entraîné pour générer le texte de l'étiquette en réponse.
   • Entraînement : Optimisation de la vraisemblance des tokens d'étiquette générés en utilisant la perte de prédiction du token suivant. Cela nécessite que le modèle apprenne un formatage spécifique et la verbalisation des étiquettes. Les rangs LoRA sont plus élevés ($r=64$), résultant en un budget d'entraînement plus important (45 M à 167 M de paramètres).
   • Inférence : Nécessite un décodage séquentiel des tokens d'étiquette, ce qui introduit une latence par rapport à l'approche basée sur les plongements.

Contributions Clés

• Stratégie de Classification Décodeur-Uniquement : Démontre que les LLM causaux peuvent servir efficacement de classificateurs en exploitant leurs plongements de token final comme représentations agrégées de séquence, de manière analogue au token [CLS] dans les encodeurs.
• Étalonnage Économe en Ressources : Rapporte des résultats de pointe sur des tâches de classification de brevets utilisant des méthodes compatibles avec un GPU unique (QLoRA + quantification 4 bits), prouvant que des modèles jusqu'à 8 milliards de paramètres peuvent être affinés efficacement.
• Analyse Comparative : Fournit une comparaison systématique montrant que pour la classification à étiquette unique, l'approche basée sur les plongements égale ou dépasse les performances de l'affinage par instruction tout en entraînant 10 à 30 fois moins de paramètres. L'affinage par instruction n'est compétitif que dans les régimes multi-étiquettes et uniquement avec des budgets d'entraînement considérablement plus importants.
• Lignes Directrices Pratiques : Offre des preuves empiriques sur les compromis entre le débit, l'étalonnage et la robustesse, suggérant que les méthodes basées sur les plongements sont plus robustes aux variations d'invites et offrent un meilleur étalonnage que les méthodes basées sur les instructions.

Résultats
Des expériences ont été menées sur deux jeux de données de brevets : un corpus propriétaire à 5 classes et étiquette unique (CLV) et le jeu de données public WIPO-Alpha multi-étiquettes (14 catégories).

• Performance à Étiquette Unique : L'approche basée sur les plongements (Approche 1) a constamment atteint des scores F1 compétitifs, surpassant souvent les modèles affinés par instruction (Approche 2) et les bases de référence BERT spécifiques au domaine. Par exemple, un modèle Llama-3.2 de 3,2 milliards de paramètres avec $r=8$ a atteint un F1 de 0,860 sur CLV, surpassant la meilleure base de référence BERT (0,854) tout en ne mettant à jour que ~12 M de paramètres contre 346 M pour BERT.
• Performance Multi-Étiquettes : Sur le jeu de données WIPO, l'Approche 2 (spécifiquement Mistral-7B avec $r=64$) a atteint le F1 le plus élevé (0,819), surpassant l'Approche 1. Cependant, cela nécessitait 167,8 M de paramètres entraînables, annulant l'avantage "économe en paramètres" dans ce régime spécifique.
• Débit : L'Approche 1 a démontré un débit d'entraînement et d'inférence (échantillons par seconde) significativement plus élevé que l'Approche 2. Bien que l'Approche 1 soit plus lente que les encodeurs de classe BERT (~20 fois plus lente), les auteurs notent que la distillation de connaissances peut récupérer le débit de la classe BERT avec un coût F1 minimal (≤1,5 points).
• Signification Statistique : Les tests appariés de McNemar et les intervalles de confiance à 95 % bootstrap $\Delta$F1 indiquent que, bien que l'approche basée sur les plongements surpasse numériquement l'affinage par instruction sur les tâches à étiquette unique, la différence n'est pas statistiquement significative à $p<0,05$.
• Validation Externe : Sur le jeu de données AG News, l'approche basée sur les plongements (Llama-3.2-3B, $r=8$) a atteint un F1 de 0,929, comparable aux fortes bases de référence BERT et aux modèles affinés par instruction, confirmant une généralisation au-delà du domaine des brevets.
• Modèles Closed-Source : Les modèles frontaux closed-source (par exemple, GPT-5, Claude Opus 4.6) utilisés en modes d'invite zero-shot ou few-shot n'ont pas réussi à égaler les performances des modèles Llama affinés de 1 à 3 milliards de paramètres utilisant l'Approche 1, soulignant la nécessité d'une adaptation supervisée pour une classification de haute précision.

Signification et Revendications
L'article revendique que l'affinage fin économe en paramètres, basé sur les plongements, des LLM causaux est une alternative efficace, évolutive et performante aux modèles conventionnels de type BERT et aux LLM affinés par instruction pour la classification de texte.

• Efficacité : L'étude démontre qu'une classification haute performance peut être réalisée sur du matériel à GPU unique en gelant le modèle de base et en ne mettant à jour qu'une infime fraction de paramètres via LoRA.
• Robustesse : L'approche basée sur les plongements est revendiquée comme étant plus robuste aux erreurs d'ingénierie d'invites et offre des sorties de probabilité mieux étalonnées que la génération basée sur les instructions, qui peut souffrir de fragilité de formatage.
• Praticité : Pour les tâches à étiquette unique, l'approche par plongement est présentée comme la stratégie préférée, offrant un compromis F1-calcul supérieur. Pour les tâches multi-étiquettes, l'article reconnaît que si l'affinage par instruction peut produire une précision plus élevée, il nécessite souvent des budgets de paramètres comparables aux modèles BERT complets, limitant ainsi son avantage d'efficacité.
• Limites : Les auteurs notent modestement que leurs revendications sont limitées par l'utilisation de données propriétaires pour les résultats à étiquette unique, l'absence de signification statistique dans les comparaisons directes, et la pénalité de débit des LLM par rapport à BERT (bien que mitigable par distillation). Ils soulignent également que l'instabilité de l'entraînement peut survenir avec certaines graines, recommandant plusieurs exécutions pour la reproductibilité.

En conclusion, ce travail fournit des preuves empiriques qu'un affinage fin spécialisé et contraint par les ressources des LLM causaux via des têtes de plongement est une voie viable et souvent optimale pour la classification de texte spécifique au domaine, abaissant la barrière au déploiement de modèles de langage avancés dans des tâches NLP spécialisées.