Distilling Examples into Task Instructions: Enhanced In-Context Learning for Real-World B2B Conversations

Résumé technique : Distiller des exemples en instructions de tâche pour un apprentissage par contexte amélioré dans les conversations B2B réelles

Énoncé du problème
Bien que l'apprentissage par contexte (In-Context Learning - ICL) soit devenu la norme pour la classification à faibles ressources en traitement du langage naturel (NLP) général, son efficacité dans des domaines spécialisés et à enjeux élevés comme la vente interentreprises (B2B) reste peu explorée. Les conversations B2B se caractérisent par une complexité sémantique, une dynamique multipartite et des cycles de vente longs. L'article identifie une limitation critique de l'application de l'ICL standard à quelques exemples (few-shot) dans ces domaines : à mesure que le nombre d'exemples augmente pour améliorer la performance, la concaténation de fragments de conversations verbeux entraîne une dégradation sévère des performances. Ce phénomène contredit l'hypothèse conventionnelle selon laquelle davantage d'exemples produisent toujours de meilleurs résultats. De plus, l'ICL standard manque de transparence ; la logique de classification est implicite au sein des exemples, ce qui rend difficile pour les auditeurs humains de comprendre ou d'affiner le processus de décision, une condition préalable à la confiance dans les applications d'entreprise.

Méthodologie
Les auteurs proposent un cadre novateur qui déplace le paradigme de la concaténation d'exemples vers une extraction automatisée de connaissances. Au lieu d'injecter directement des exemples bruts dans le prompt, le système utilise un grand modèle de langage (LLM) pour distiller un petit ensemble d'exemples étiquetés en représentations compactes et interprétables. Ce processus se déroule en deux étapes principales :

1. Extraction de connaissances : Étant donné une intention de tâche définie par l'utilisateur et un petit ensemble d'exemples étiquetés, le LLM génère l'un des deux types de sorties structurées :

   • Critères : Listes explicites de conditions positives et négatives indiquant la présence ou l'absence d'un concept.
   • Descriptions : Narrations complètes en langage naturel définissant la tâche de classification, capturant l'essence du concept et ses limites.
   • Variantes itératives : Le cadre explore également la génération de critères à partir de descriptions (Criteria-De) et de descriptions à partir de critères (Description-Cr) afin d'affiner la représentation de la connaissance.

2. Classification : La connaissance générée (critères ou description) remplace les exemples bruts dans le prompt de classification. Le LLM cible classifie alors de nouveaux fragments de conversation en se basant sur ces instructions explicites plutôt que sur une reconnaissance de formes implicite issue des exemples.

Cette approche se distingue des stratégies existantes telles que la sélection d'exemples basée sur la recherche, l'optimisation de prompt ou la compression au niveau du jeton (ex: LLMLingua-2), qui produisent souvent des sorties incohérentes ou fragmentées. La méthode proposée maintient la cohérence tout en réduisant considérablement l'utilisation de jetons (tokens).

Le jeu de données "Call Playbook"
Pour évaluer cette approche, les auteurs introduisent le Call Playbook, un nouveau jeu de données annoté dérivé de 50 appels de vente B2B réels en anglais (de 30 à 90 minutes chacun). Le jeu de données se concentre sur cinq concepts de vente fondamentaux :

• Objectifs commerciaux (Business Goals)
• Critères de décision (Decision Criteria)
• Décideurs (Decision Makers)
• Processus de décision (Decision Making Process)
• Points de douleur (Pain Points)

Les données sont annotées au niveau des segments (séquences chevauchantes de cinq monologues) avec des étiquettes binaires pour chaque concept. Le jeu de données est équilibré, anonymisé et conçu pour refléter la nature fluide et multi-parties des négociations commerciales réelles.

Résultats clés
Les expériences menées sur cinq LLM (GPT-4o, Claude Sonnet 3.7, Claude Haiku 3, Mistral Large, Mistral Small) et sur différents nombres d'exemples (de 0 à 100) produisent les conclusions suivantes :

• Robustesse de la performance : Contrairement aux méthodes few-shot standard, qui se dégradent considérablement à mesure que le nombre d'exemples augmente (passant d'environ 71,5 % à 60,7 % de F1 à 100 exemples), les méthodes d'extraction de connaissances proposées restent robustes. Plus précisément, Description-Ex montre une amélioration constante, et Criteria-De obtient les gains globaux les plus importants (jusqu'à 72,2 % de F1).
• Efficacité des jetons : Les méthodes proposées permettent une réduction de 99 % de l'utilisation des jetons par rapport à l'apprentissage traditionnel à quelques exemples. Alors que les méthodes standard augmentent linéairement avec le nombre d'exemples (atteignant environ 25 000 jetons à 100 exemples), les méthodes basées sur la connaissance restent stables (moins de 600 jetons pour les critères, moins de 200 pour les descriptions).
• Supériorité sur la compression : La méthode surpasse les bases de comparaison de compression de jetons (Selective Context et LLMLingua-2). Tandis que les méthodes de compression perdent plus de 9 points de F1 à mesure que le contexte croît, l'approche de distillation maintient ou améliore la performance.
• Distillation inter-modèles : La connaissance générée par des modèles plus grands et plus performants (ex: Claude Sonnet 3.7) peut être transférée efficacement vers des modèles plus petits (ex: Mistral Small), améliorant leurs performances sans réentraînement.
• Humain dans la boucle (Human-in-the-Loop) : Le cadre permet un raffinement humain direct. Des annotateurs humains ont pu modifier les critères et descriptions générés pour améliorer la performance de classification (jusqu'à +2,65 % de F1), démontant l'interprétabilité et l'utilité des artefacts extraits.

Signification et revendications
L'article affirme que son cadre répond aux besoins critiques de transparence, d'efficacité et d'interaction utilisateur dans les applications NLP réelles. En convertissant l'apprentissage opaque basé sur des exemples en instructions de tâche explicites et structurées, la méthode permet :

1. Auditabilité : La logique de classification est transparente et peut être examinée par des humains.
2. Scalabilité : Les économies de calcul significatives permettent une inférence plus rapide et des coûts moindres, particulièrement lorsque le volume de données augmente.
3. Flexibilité : Le système supporte le raffinement dynamique de la logique de classification sans réentraîner les modèles ou redessiner les prompts de zéro.

Les auteurs présentent ce travail comme une évolution nécessaire pour l'analyse B2B, où la complexité du domaine et le besoin d'IA interprétable rendent l'ICL traditionnel à quelques exemples insuffisant. L'approche offre une voie vers une classification scalable, transparente et efficace dans les contextes commerciaux spécialisés.