Iterative Definition Refinement for Zero-Shot Classification via LLM-Based Semantic Prototype Optimization

1. Énoncé du problème

La classification du contenu web est essentielle pour la cybersécurité (par exemple, le blocage des URL malveillantes) et la conformité. Cependant, les méthodes supervisées traditionnelles nécessitent de grands ensembles de données annotées et peinent à s'adapter à la nature dynamique du web. La classification en zéro-shot utilisant des modèles d'incorporation (embedding) offre une solution en cartographiant le texte et les descriptions de catégories dans un espace sémantique partagé, sans entraînement spécifique à la tâche.

La limitation fondamentale : La performance de la classification en zéro-shot basée sur les incorporations est fondamentalement liée à la qualité des définitions de catégories (prototypes sémantiques).

• Si les définitions sont vagues, trop générales ou sémantiquement similaires entre les classes, les prototypes résultants dans l'espace d'incorporation se chevauchent.
• Cela entraîne des erreurs de classification systématiques, même lors de l'utilisation de modèles d'incorporation les plus avancés.
• Les approches actuelles soit affinent les modèles (coûteux, nécessite des données), soit utilisent des définitions statiques (fragiles). Il n'existe aucun mécanisme pour améliorer itérativement les définitions elles-mêmes sans réentraîner le modèle.

2. Méthodologie

Les auteurs proposent un cadre adaptatif sans entraînement qui utilise des modèles de langage de grande taille (LLM) pour affiner itérativement les définitions de catégories sur la base des retours de classification. Le modèle d'incorporation reste figé tout au long du processus.

2.1. Flux de travail principal

1. Initialisation : Les définitions de catégories sont initialisées (soit de manière minimale, soit via un LLM).
2. Incorporation et classification : Le texte et les définitions sont incorporés à l'aide d'un modèle fondamental figé. Les étiquettes sont attribuées via la similarité cosinus.
3. Boucle de rétroaction : Le système calcule les métriques de performance (Macro F1) et identifie les modes d'échec (par exemple, les instances mal classées).
4. Affinement : Un LLM reçoit les définitions actuelles et des signaux de rétroaction spécifiques pour générer des définitions améliorées.
5. Itération : Le processus se répète, mettant à jour les définitions jusqu'à convergence.

2.2. Trois stratégies d'affinement

L'article introduit trois stratégies distinctes pour guider l'optimisation par le LLM :

• M1 : Affinement guidé par les exemples

  • Entrée : Définitions actuelles + un échantillon étiqueté aléatoire + score Macro F1 actuel.
  • Objectif : Ancrer les définitions dans les caractéristiques des données réelles pour s'assurer qu'elles capturent l'essence sémantique de la catégorie.

• M2 : Affinement conscient de la confusion

  • Entrée : Définitions actuelles + échantillons provenant des paires de classes les plus confuses (top-$k$) (dérivées de la matrice de confusion) + Macro F1 actuel.
  • Objectif : Cibler spécifiquement les frontières de décision où le classificateur échoue, contraignant le LLM à rendre les catégories confuses plus distinguables.

• M3 : Affinement conscient de l'historique avec acceptation stochastique

  • Entrée : Définitions actuelles + l'historique des $m$ derniers ensembles de définitions et leurs scores + échantillons de confusion.
  • Mécanisme : Pour empêcher le LLM de rester piégé dans des optima locaux, les auteurs implémentent une règle d'acceptation de Monte Carlo (inspirée du recuit simulé).
  • Logique : Si une nouvelle définition améliore la performance, elle est acceptée. Si elle dégrade la performance, elle est acceptée avec une probabilité $P = \exp(-\Delta E / T_t)$, où $T_t$ est un paramètre de température qui diminue au fil du temps. Cela permet une « exploration » de l'espace des définitions au début, puis une « exploitation » (acceptation gourmande) plus tard.

3. Contributions clés

1. Cadre novateur : Le premier cadre appliquant un affinement itératif des prototypes sémantiques à la classification du contenu web sans mettre à jour les paramètres du modèle. Il déplace le focus de l'optimisation des poids du modèle vers la qualité des invites/définitions.
2. Innovation stratégique : Introduction de trois stratégies d'affinement (Exemple, Confusion, Historique) et intégration d'une règle d'acceptation de Monte Carlo pour naviguer efficacement dans l'espace de recherche des définitions.
3. Évaluation comparative complète :
   • Évalué sur 13 modèles d'incorporation de pointe (allant de 278 M à 1 milliard de paramètres).
   • Testé avec 4 LLM différents (Gemma, Mistral, GLM, Qwen) pour la boucle d'affinement.
   • Démontre que des associations spécifiques LLM/Incorporation produisent des résultats optimaux, fournissant des directives de déploiement.
4. Nouveau jeu de données (B2MWT-10C) : Publication d'un benchmark étiqueté par des humains contenant 10 000 URL réparties dans 10 catégories sémantiquement chevauchantes (par exemple, « Parisi et jeux d'argent » vs « Loisirs et divertissement »), conçu spécifiquement pour tester les limites de la classification en zéro-shot.

4. Résultats expérimentaux

Le cadre a été testé sur le jeu de données N24News et le nouveau jeu de données B2MWT-10C.

• Gains de performance :
  • Amélioration constante : Chaque modèle d'incorporation a montré des gains de performance après l'affinement. Aucune exécution d'affinement n'a dégradé la performance par rapport à la ligne de base.
  • Ampleur : Sur B2MWT-10C, le meilleur modèle (Voyage-4-nano) est passé d'une ligne de base de 62,65 à 75,49 (+12,84 points).
  • Impact élevé sur les faibles lignes de base : Les modèles ayant initialement une mauvaise performance ont enregistré les plus grands gains relatifs. Par exemple, Multilingual-e5-large sur N24News est passé de 49,30 à 69,20 (+19,90 points).
• Comparaison des stratégies :
  • M3 (Conscient de l'historique) a généralement surpassé M1 et M2, en particulier lorsqu'il était combiné à la règle d'acceptation stochastique.
  • Conscient de la confusion (M2) a apporté des gains significatifs par rapport à l'affinement guidé par les exemples (M1), prouvant que le ciblage de points d'échec spécifiques est plus efficace que l'échantillonnage aléatoire.
• Preuve visuelle :
  • Graphiques t-SNE : Ont montré que les prototypes de catégories initialement chevauchants (par exemple, « Médias » vs « Opinion ») sont devenus bien séparés après l'affinement.
  • Matrices de confusion : Ont démontré un glissement vers une dominance diagonale, indiquant une réduction de la confusion entre les classes sémantiquement similaires.

5. Importance et conclusion

Cet article établit la qualité des définitions comme un facteur critique, mais encore peu exploré, dans les systèmes basés sur les incorporations.

• Efficacité des coûts : Il offre une alternative « sans entraînement » à l'affinage. Les organisations peuvent améliorer la précision de la classification en optimisant simplement leurs invites/définitions textuelles à l'aide d'un LLM, évitant ainsi le coût computationnel et les exigences de données du réentraînement des modèles d'incorporation.
• Adaptabilité : Le cadre est hautement adaptable aux nouvelles catégories ou au contenu web évolutif, car les définitions peuvent être affinées en temps réel sur la base des retours de classification erronée dans le monde réel.
• Perspectives futures : Les auteurs suggèrent d'étendre cette approche aux modalités visuelles et aux modèles Vision-Language (VLM), indiquant une applicabilité plus large au-delà de la classification textuelle uniquement.

En résumé, l'article démontre que l'affinement itératif des « questions » (définitions) est tout aussi puissant que l'affinement des « réponses » (poids du modèle) pour les tâches de classification en zéro-shot.