Distilling Examples into Task Instructions: Enhanced In-Context Learning for Real-World B2B Conversations

Technische Samenvatting: Het distilleren van voorbeelden naar taakinstructies voor verbeterd In-Context Learning in real-world B2B-gesprekken

Probleemstelling
Hoewel In-Context Learning (ICL) de standaard is geworden voor low-resource classificatie in algemene Natural Language Processing (NLP), blijft de effectiviteit ervan in gespecialiseerde, risicovolle domeinen zoals Business-to-Business (B2B) sales onderbelicht. B2B-gesprekken worden gekenmerkt door semantische complexiteit, multi-party dynamiek en lange verkoopprocessen. Het artikel identificeert een kritieke beperking bij het toepassen van standaard few-shot ICL op deze domeinen: naarmate het aantal few-shot voorbeelden toeneemt om de prestaties te verbeteren, leidt de concatenatie van uitgebreide conversationele fragmenten tot een ernstige degradatie van de prestaties. Dit fenomeen spreekt de conventionele aanname tegen dat meer voorbeelden altijd betere resultaten opleveren. Bovendien ontbreekt het standaard ICL aan transparantie; de classificatielogica is impliciet aanwezig binnen de voorbeelden, wat het voor menselijke auditors moeilijk maakt om het besluitvormingsproces te begrijpen of te verfijnen, wat een vereiste is voor vertrouwen in enterprise applicaties.

Methodologie
De auteurs stellen een nieuw framework voor dat de focus verschuift van voorbeeld-concatenatie naar geautomatiseerde kennisextractie. In plaats van ruwe few-shot voorbeelden direct in de prompt te voeren, gebruikt het systeem een Large Language Model (LLM) om een kleine set gelabelde voorbeelden te distilleren tot compacte, interpreteerbare representaties. Dit proces vindt plaats in twee primaire stadia:

1. Kennisextractie: Gegeven een door de gebruiker gedefinieerde taakintentie en een kleine set gelabelde voorbeelden, genereert de LLM een van de twee gestructureerde outputs:

   • Criteria: Expliciete lijsten van positieve en negatieve condities die de aanwezigheid of afwezigheid van een concept aangeven.
   • Beschrijvingen: Uitgebreide natuurlijke taal-narratieven die de classificatietaak definiëren en de essentie en de grenzen van het concept vastleggen.
   • Iteratieve Varianten: Het framework onderzoekt ook het genereren van criteria uit beschrijvingen (Criteria-De) en beschrijvingen uit criteria (Description-Cr) om de kennisrepresentatie te verfijnen.

2. Classificatie: De gegenereerde kennis (criteria of beschrijving) vervangt de ruwe few-shot voorbeelden in de classificatieprompt. De doel-LLM classificeert vervolgens nieuwe conversationele fragmenten op basis van deze expliciete instructies in plaats van op basis van impliciete patroonherkenning uit voorbeelden.

Deze aanpak onderscheidt zich van bestaande strategieën zoals retrieval-gebaseerde voorbeeldselectie, prompt optimalisatie of token-niveau compressie (bijv. LLMLingua-2), die vaak resulteren in incoherente of gefragmenteerde outputs. De voorgestelde methode behoudt coherentie terwijl het het tokengebruik drastisch vermindert.

Het Call Playbook Dataset
Om deze aanpak te evalueren, introduceren de auteurs de Call Playbook, een nieuwe geannoteerde dataset afgeleid van 50 real-world Engelse B2B salesgesprekken (30–90 minuten per stuk). De dataset richt zich op vijf kernconcepten uit sales:

• Business Goals (Bedrijfsdoelstellingen)
• Decision Criteria (Besluitvormingscriteria)
• Decision Makers (Besluitvormers)
• Decision Making Process (Besluitvormingsproces)
• Pain Points (Pijnpunten)

De data is geannoteerd op snippet-niveau (overlappende sequenties van vijf monologen) met binaire labels voor elk concept. De dataset is gebalanceerd, geanonimiseerd en ontworpen om de fluïde, multi-stakeholder aard van werkelijke salesonderhandelingeningen te weerspiegelen.

Belangrijkste Resultaten
Experimenten uitgevoerd over vijf LLM's (GPT-4o, Claude Sonnet 3.7, Claude Haiku 3, Mistral Large, Mistral Small) en variërende few-shot counts (0 tot 100 voorbeelden) leveren de volgende bevindingen op:

• Prestatie-robuustheid: In tegen tegenstelling tot standaard few-shot methoden, die significant degraderen naarmate het aantal voorbeelden toeneemt (dalend van ~71,5% naar ~60,7% F1 bij 100 shots), blijven de voorgestelde kennisextractie-methoden robuust. Specifiek vertoont Description-Ex een gestage verbetering, en Criteria-De behaalt de grootste algehele winst (tot 72,2% F1).
• Token Efficiëntie: De voorgestelde methoden bereiken een reductie in tokengebruik van 99% vergeleken met traditioneel few-shot leren. Terwijl standaard methoden lineair schalen met het aantal voorbeelden (bereikend tot ~25.000 tokens bij 100 shots), blijven de kennisgebaseerde methoden vlak (onder de 600 tokens voor criteria, onder de 200 voor beschrijvingen).
• Superieur aan Compressie: De methode presteert beter dan token-niveau compressie baselines (Selective Context en LLMLingua-2). Terwijl compressiemethoden met meer dan 9 F1-punten dalen naarmate de context groeit, behoudt de distillatie-aanpak de prestaties of verbetert deze zelfs.
• Cross-Model Distillatie: Kennis gegenereerd door grotere, meer capabele modellen (bijv. Claude Sonnet 3.7) kan effectief worden overgedragen aan kleinere modellen (bijv. Mistral Small), wat hun prestaties verbetert zonder hertraining.
• Human-in-the-Loop: Het framework maakt directe menselijke verfijning mogelijk. Menselijke annotatoren waren in staat om de gegenereerde criteria en beschrijvingen aan te passen om de classificatieprestaties te verbeteren (tot +2,65% F1), wat de interpreteerbaarheid en bruikbaarheid van de geëxtraheerde artefacten aantoont.

Betekenis en Claims
Het artikel claimt dat het framework de kritieke behoeften van transparantie, efficiëntie en gebruikersinteractie in real-world NLP-applicaties adresseert. Door het omzetten van op voorbeelden gebaseerd leren naar expliciete, gestructureerde taakinstructies, maakt de methode het volgende mogelijk:

1. Auditbaarheid: De classificatielogica is transparant en kan door mensen worden beoordeeld.
2. Schaalbaarheid: Significante computationele besparingen maken snellere inferentie en lagere kosten mogelijk, vooral naarmate het volume van de data groeit.
3. Flexibiliteit: Het systeem ondersteunt dynamische verfijning van de classificatielogica zonder modellen te hertrainen of prompts vanaf nul opnieuw te ontwerpen.

De auteurs positioneren dit werk als een noodzakelijke evolutie voor B2B-analytics, waar de complexiteit van het domein en de behoefte aan interpreteerbare AI traditionele few-shot ICL ontoereikend maken. De aanpak biedt een pad naar schaalbare, transparante en efficiënte classificatie in gespecialiseerde zakelijke contexten.