Résumé technique : Comparaison de modèles de langage de petite taille spécialisés et de modèles de langage de grande taille généraux pour la classification de texte

Énoncé du problème

En traitement du langage naturel (NLP), les chercheurs sont confrontés à une décision critique lorsqu'ils disposent de données étiquetées limitées : doivent-ils utiliser un grand modèle de langage (LLM) général via le prompting ou l'apprentissage en contexte (sans mise à jour des paramètres), ou doivent-ils investir un petit nombre d'échantillons étiquetés pour affiner (fine-tuning) ou effectuer un ajustement d'instruction (instruction-tuning) sur un modèle plus petit et spécialisé ?

Bien que la littérature existante suggère que les LLM généraux excellent dans les contextes zero-shot ou few-shot, et que les modèles spécialisés peuvent les surpasser avec suffisamment de données, il manque des comparaisons exhaustives et équitables permettant de déterminer le « point de bascule » précis. Les études précédentes souffrent souvent d'incohérences méthodologiques, comme comparer des modèles spécialisés entraînés sur des jeux de données complets à des modèles généraux utilisant seulement quelques échantillons, ou inversement. De plus, de nombreuses études ignorent la variance significative de performance introduite par l'aléa (ex. : graines aléatoires, partitions de données) et ne tiennent pas compte de l'efficacité computationnelle ou de l'impact de la quantification des modèles.

Ce travail répond à la question suivante : « Combien d'échantillons étiquetés sont nécessaires pour que des modèles petits et spécialisés surpassent des modèles grands et généraux, tout en prenant en compte la variance de performance ? »

Méthodologie

Les auteurs ont mené une investigation exhaustive sur 8 modèles de langage et 8 jeux de données représentatifs de classification de texte présentant des caractéristiques variées (binaire vs multi-classe, longueur de phrase, type de tâche).

Conception expérimentale

1. Analyse de l'efficacité des données : L'étude a augmenté systématiquement le nombre d'échantillons d'entraînement étiquetés, partant d'un faible nombre (commençant à 1 par classe) jusqu'à la taille totale du jeu de données. Cela a permis d'identifier les points de bascule de performance où les modèles spécialisés commencent à surpasser les modèles généraux.
2. Approches comparées :
   • Modèles spécialisés : Fine-tuning (utilisant BERT et RoBERTa) et Instruction-tuning (utilisant Flan-T5, Mistral-7B et Zephyr-7B).
   • Modèles généraux : Zero-shot prompting et apprentissage en contexte few-shot (utilisant Flan-T5, GPT-4, LLaMA-2, LLaMA-3, Mistral-7B et Zephyr-7B).
3. Variance et sensibilité : Pour tenir compte de la sensibilité à l'aléa, les expériences ont été répétées 100 fois pour le fine-tuning et 20 fois pour les autres approches. L'étude a identifié deux types de points de bascule :
   • Premier point de bascule : Le point où la performance moyenne des modèles spécialisés dépasse celle des modèles généraux.
   • Second point de bascule : Le point où les modèles spécialisés surpassent les modèles généraux même en tenant compte de la variance (en comparant la performance du « pire cas » du meilleur modèle contre le « meilleur cas » du moins bon modèle).
4. Efficacité de calcul et quantification : L'étude a comparé des modèles de tailles différentes tout en garantissant des coûts de calcul comparables. Elle a également évalué l'impact de la quantification 4-bit sur la performance et la variance.
5. Jeux de données : L'évaluation a couvert 4 jeux de données binaires (SST2, MRPC, CoLA, BoolQ) et 4 jeux de données multi-classes (AG News, TREC, SNIPS, DB Pedia).

Contributions clés et résultats

1. Points de bascule et exigences en échantillons

L'étude identifie que les modèles spécialisés nécessitent souvent un nombre étonnamment faible d'échantillons étiquetés pour égaler ou dépasser les LLM généraux :

• Exigence moyenne : En moyenne, les modèles spécialisés n'ont besoin que d'environ 100 échantillons étiquetés pour atteindre une performance égale ou supérieure aux modèles généraux en réglages zero-shot ou few-shot.
• Dépendance à la tâche : Le nombre d'échantillons requis varie considérablement selon les caractéristiques du jeu de données.
  • Jeux de données multi-classes : Le fine-tuning nécessite souvent seulement 100 à 200 échantillons pour surpasser les modèles généraux.
  • Jeux de données binaires : Ceux-ci nécessitent beaucoup plus d'échantillons (jusqu'à 4 000 pour surpasser le zero-shot, et jusqu'à 20 000 pour surpasser les modèles ajustés par instruction).
  • Complexité de la tâche : Les tâches exigeant une compréhension linguistique plus profonde (ex. : réponse aux questions) ou celles avec des entrées plus longues demandent généralement plus de données étiquetées.

2. Impact de la variance de performance

Une contribution majeure de ce travail est de quantifier l'effet de la variance de performance sur la comparaison :

• Augmentation significative des exigences : Lorsque la variance de performance est prise en compte (passage du premier au second point de bascule), le nombre d'échantillons étiquetés requis augmente en moyenne de 100 à 200 %.
• Cas extrêmes : Dans certains scénarios spécifiques, notamment l'apprentissage en contexte sur certains jeux de données, la taille d'échantillon requise peut augmenter de 500 à 3000 %, ou le point de bascule peut ne pas être atteint même avec l'intégralité du jeu de données.
• Source de variance : L'apprentissage en contexte et le fine-tuning sur très peu d'échantillons présentent la variance la plus élevée. La variance du fine-tuning diminue à mesure que le nombre d'échantillons étiquetés augmente.

3. Taille du modèle et quantification

• Taille vs Performance : Les modèles généraux plus grands ne mènent pas systématiquement à une meilleure performance ou à une variance plus faible. Dans de nombreux cas, des modèles plus petits (ex. : Flan-T5) surpassent leurs homologues plus grands (ex. : LLaMA-3, GPT-4) en prompting et en apprentissage en contexte, particulièrement sur les jeux de données multi-classes.
• Quantification : L'utilisation de la quantification 4-bit a un impact négligeable sur la performance globale et la variance. Dans certains cas (spécifiquement l'apprentissage en contexte), les modèles quantifiés surpassent même leurs homologues en pleine précision. Cela suggère que les modèles quantifiés sont un choix hautement efficace pour les LLM généraux.

4. Efficacité de l'ajustement d'instruction (Instruction-tuning)

Les modèles ajustés par instruction ont démontré un fort équilibre entre généralité et efficacité des données. Ils atteignent souvent une performance proche de l'optimale avec une fraction des échantillons requis par le fine-tuning standard, ce qui en fait une approche spécialisée hautement efficace en termes de données.

Signification et recommandations

L'article conclut que le choix entre modèles petits spécialisés et modèles grands généraux n'est pas binaire mais dépend fortement du budget d'annotation, des ressources de calcul et des caractéristiques de la tâche.

• Pour des budgets d'annotation limités : Les LLM généraux via le prompting sont préférables pour un prototypage rapide ou pour des tâches où les classes ne sont pas bien définies (ex. : tâches de génération).
• Pour des budgets d'annotation modérés (~100 échantillons) : Les modèles spécialisés (via le fine-tuning ou l'instruction-tuning) sont de sérieux concurrents et surpassent souvent les modèles généraux, en particulier sur les tâches multi-classes.
• Pour une sensibilité élevée à la variance : Les chercheurs doivent tenir compte de la variance de performance. Se fier à un seul passage peut conduire à des conclusions erronées sur la supériorité d'un modèle. Des passages multiples sont essentiels, particulièrement pour l'apprentissage en contexte et le fine-tuning à faible nombre d'échantillons.
• Recommandations pratiques :
  • L'ajustement d'instruction (Instruction-tuning) est souvent la solution optimale pour les budgets de calcul importants, offrant des avantages constants à travers diverses tailles d'annotation.
  • La quantification 4-bit devrait être privilégiée pour les LLM généraux afin d'améliorer l'efficacité de calcul avec une perte de performance minimale.
  • Le Prompt Engineering : La qualité et le format des prompts et des exemples en contexte sont des facteurs critiques influençant à la fois la performance et la variance.

Les auteurs soulignent que si les LLM généraux présentent des avantages dans des scénarios spécifiques (ex. : annotation extrêmement limitée ou tâches de génération), les modèles spécialisés sont très compétitifs pour les tâches de classification de texte avec un nombre étonnamment faible d'échantillons étiquetés, à condition que la variance de performance soit correctement gérée.