Iterative Definition Refinement for Zero-Shot Classification via LLM-Based Semantic Prototype Optimization

1. Probleemstelling

Webcontentclassificatie is essentieel voor cyberveiligheid (bijvoorbeeld het blokkeren van kwaadaardige URL's) en compliance. Traditionele supervised methoden vereisen echter grote, geannoteerde datasets en hebben moeite met de dynamische aard van het web. Zero-shot classificatie met behulp van embedding-modellen biedt een oplossing door tekst en categoriebeschrijvingen af te beelden in een gedeelde semantische ruimte zonder taakspecifieke training.

De Kernbeperking: De prestaties van op embedding gebaseerde zero-shot classificatie zijn fundamenteel afhankelijk van de kwaliteit van de categorie-definities (semantische prototypes).

• Als definities vaag, te algemeen zijn of semantisch te veel op elkaar lijken tussen klassen, overlappen de resulterende prototypes in de embedding-ruimte.
• Dit leidt tot systematische misclassificatie, zelfs bij gebruik van state-of-the-art embedding-modellen.
• Huidige benaderingen fine-tunen modellen (duur, vereist data) of gebruiken statische definities (breekbaar). Er is geen mechanisme om de definities zelf iteratief te verbeteren zonder het model opnieuw te trainen.

2. Methodologie

De auteurs stellen een trainingsvrij, adaptief raamwerk voor dat Large Language Models (LLM's) gebruikt om categorie-definities iteratief te verfijnen op basis van classificatiefeedback. Het embedding-model blijft tijdens het hele proces bevroren.

2.1. Kernworkflow

1. Initialisatie: Categorie-definities worden geïnitieerd (ofwel minimaal of via een LLM).
2. Embedding & Classificatie: Tekst en definities worden ingebed met behulp van een bevroren foundation-model. Labels worden toegewezen via cosijn-similariteit.
3. Feedbacklus: Het systeem berekent prestatie-metrics (Macro F1) en identificeert faalmodi (bijvoorbeeld misgeclassificeerde instanties).
4. Verfijning: Een LLM ontvangt de huidige definities en specifieke feedbacksignalen om verbeterde definities te genereren.
5. Iteratie: Het proces herhaalt zich en werkt definities bij tot convergentie.

2.2. Drie Verfijningsstrategieën

Het artikel introduceert drie distincte strategieën om de optimalisatie van de LLM te sturen:

• M1: Voorbeeldgeleide Verfijning

  • Input: Huidige definities + een willekeurige gelabelde steekproef + huidige Macro F1-score.
  • Doel: Definities verankeren in echte data-kenmerken om ervoor te zorgen dat ze de semantische essentie van de categorie vastleggen.

• M2: Verwarringsbewuste Verfijning

  • Input: Huidige definities + steekproeven van de top-$k$ meest verwarrende klassenparen (afgeleid van de confusiematrix) + huidige Macro F1.
  • Doel: Specifiek gericht zijn op beslissingsgrenzen waar de classifier faalt, waardoor de LLM wordt gedwongen verwarrende categorieën beter onderscheidbaar te maken.

• M3: Geschiedenisbewuste Verfijning met Stochastische Acceptatie

  • Input: Huidige definities + de geschiedenis van de laatste $m$ definitiesets en hun scores + verwarrende steekproeven.
  • Mechanisme: Om te voorkomen dat de LLM vastloopt in lokale optima, implementeren de auteurs een Monte Carlo acceptatieregel (geïnspireerd op Simulated Annealing).
  • Logica: Als een nieuwe definitie de prestaties verbetert, wordt deze geaccepteerd. Als de prestaties verslechteren, wordt deze geaccepteerd met een waarschijnlijkheid $P = \exp(-\Delta E / T_t)$, waarbij $T_t$ een temperatuurparameter is die in de loop van de tijd afneemt. Dit staat "exploratie" van de definieruimte toe in een vroeg stadium en "exploitatie" (gierige acceptatie) later.

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Het eerste raamwerk dat iteratieve semantische prototype-verfijning toepast op webcontentclassificatie zonder modelparameters bij te werken. Het verschuift de optimalisatiefocus van modelgewichten naar prompt-/definitiekwaliteit.
2. Strategische Innovatie: Introductie van drie verfijningsstrategieën (Voorbeeld, Verwarring, Geschiedenis) en de integratie van een Monte Carlo acceptatieregel om effectief door de definiezochtruimte te navigeren.
3. Uitgebreide Benchmarking:
   • Geëvalueerd over 13 state-of-the-art embedding foundation-modellen (variërend van 278M tot 1B parameters).
   • Getest met 4 verschillende LLM's (Gemma, Mistral, GLM, Qwen) voor de verfijningslus.
   • Aangetoond dat specifieke LLM/embedding-koppelingen optimale resultaten opleveren, wat richtlijnen voor implementatie biedt.
4. Nieuwe Dataset (B2MWT-10C): Publicatie van een door mensen gelabelde benchmark met 10.000 URL's over 10 semantisch overlappende categorieën (bijvoorbeeld "Wedden & Gokken" versus "Vrijetijdsbesteding & Entertainment"), speciaal ontworpen om de grenzen van zero-shot classificatie te testen.

4. Experimentele Resultaten

Het raamwerk werd getest op de N24News-dataset en de nieuwe B2MWT-10C-dataset.

• Prestatiewinst:
  • Consistente Verbetering: Elk embedding-model toonde prestatiewinst na verfijning. Geen enkele verfijningsrun verslechterde de prestaties ten opzichte van de baseline.
  • Omvang: Op B2MWT-10C verbeterde het beste model (Voyage-4-nano) van een baseline van 62,65 naar 75,49 (+12,84 punten).
  • Hoge Impact op Zwakke Baselines: Modellen met aanvankelijk slechte prestaties zagen de grootste relatieve winst. Bijvoorbeeld, Multilingual-e5-large op N24News verbeterde van 49,30 naar 69,20 (+19,90 punten).
• Vergelijking van Strategieën:
  • M3 (Geschiedenisbewust) presteerde over het algemeen beter dan M1 en M2, vooral in combinatie met de stochastische acceptatieregel.
  • Verwarringsbewust (M2) bood aanzienlijke winst ten opzichte van Voorbeeldgeleide (M1), wat bewijst dat het richten op specifieke faalpunten effectiever is dan willekeurige steekproeven.
• Visueel Bewijs:
  • t-SNE Plotten: Toonde aan dat aanvankelijk overlappende categorie-prototypes (bijvoorbeeld "Media" versus "Meningsartikel") na verfijning goed gescheiden werden.
  • Confusiematrices: Toonden een verschuiving naar diagonale dominantie, wat aangeeft dat de verwarring tussen semantisch vergelijkbare klassen is verminderd.

5. Betekenis en Conclusie

Dit artikel vestigt definitiekwaliteit als een kritieke, maar onderbelichte factor in op embedding gebaseerde systemen.

• Kostenefficiëntie: Het biedt een "trainingsvrij" alternatief voor fine-tuning. Organisaties kunnen de classificienauwkeurigheid verbeteren door simpelweg hun tekstprompts/definities te optimaliseren met een LLM, waardoor de rekenkosten en data-eisen van het opnieuw trainen van embedding-modellen worden vermeden.
• Aanpasbaarheid: Het raamwerk is zeer aanpasbaar aan nieuwe categorieën of evoluerende webcontent, aangezien definities on-the-fly kunnen worden verfijnd op basis van real-world misclassificatiefeedback.
• Toekomstige Richtingen: De auteurs suggereren deze aanpak uit te breiden naar visuele modaliteiten en Vision-Language Models (VLM's), wat wijst op een bredere toepasbaarheid dan alleen tekstclassificatie.

Kortom, het artikel toont aan dat het iteratief verfijnen van de "vragen" (definities) net zo krachtig is als het verfijnen van de "antwoorden" (modelgewichten) voor zero-shot classificatietaken.