BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs

Deze paper introduceert BTZSC, een uitgebreide benchmark voor zero-shot tekstclassificatie die een systematische vergelijking biedt tussen cross-encoders, embedding-modellen, rerankers en LLMs, waarbij moderne rerankers zoals Qwen3-Reranker-8B een nieuwe state-of-the-art bereiken.

De kern

BTZSC: De Grote "Geen-Training" Test voor Taalmodellen

Stel je voor dat je een nieuwe taal wilt leren, maar je hebt geen tijd om boeken te lezen of lessen te volgen. Je moet gewoon direct een gesprek aangaan en hopen dat je de juiste woorden gebruikt. Dat is precies wat Zero-Shot Text Classification (ZSC) is voor computers: ze moeten teksten categoriseren (bijv. "Is dit een positieve of negatieve review?") zonder dat ze ooit specifiek voor die taak zijn getraind. Ze moeten het doen op basis van wat ze al weten.

Deze paper introduceert BTZSC, een nieuwe, enorme testbaan om te zien welke van de huidige slimme taalmodellen hier het beste in zijn. Het is alsof de auteurs een groot sporttoernooi hebben georganiseerd waar vier verschillende soorten atleten tegen elkaar strijden.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Vier Atleten (De Model-Families)

De auteurs hebben vier groepen modellen getest, elk met hun eigen superkracht:

• De NLI-Cross-Encoders (De "Logische Redenaars"):

  • Hoe ze werken: Deze modellen zijn getraind om te begrijpen of twee zinnen logisch op elkaar volgen (bijv. "Het regent" impliceert "De grond is nat"). Ze proberen een tekst te koppelen aan een label alsof het een logisch raadsel oplossen is.
  • Analogie: Een detective die elke aanwijzing (tekst) vergelijkt met een verdachte (label) om te zien of het verhaal klopt.
  • Resultaat: Ze zijn goed, maar hun prestaties stagneren. Ze worden niet veel beter als je ze groter maakt. Ze zitten vast in een "plafond".

• De Embedding Models (De "Boekhouders"):

  • Hoe ze werken: Deze zetten woorden om in een lijst met getallen (vectoren). Woorden met een vergelijkbare betekenis zitten dicht bij elkaar in een virtuele ruimte. Ze meten de afstand tussen de tekst en het label.
  • Analogie: Een bibliothecaris die boeken niet leest, maar ze op een kaart zet. Als een boek en een categorie dicht bij elkaar op de kaart staan, is het een match. Ze zijn supersnel en efficiënt.
  • Resultaat: Ze zijn de beste prijs-kwaliteitverhouding. Ze zijn snel, goedkoop en bijna net zo goed als de zwaarste modellen.

• De Rerankers (De "Super-Scouts"):

  • Hoe ze werken: Deze modellen kijken heel diep naar de relatie tussen een tekst en een label. Ze "hervatten" een lijst van mogelijke antwoorden om de allerbeste te kiezen.
  • Analogie: Een topscout die niet alleen kijkt naar de basisstatistieken van een speler, maar ook naar de chemie tussen de speler en het team. Ze zijn extreem nauwkeurig.
  • Resultaat: De winnaars. De nieuwste modellen (zoals Qwen3-Reranker) zijn de absolute kampioenen. Ze zijn het meest nauwkeurig, maar ze zijn ook zwaar en traag.

• De Instruction-Tuned LLMs (De "Alleskenners"):

  • Hoe ze werken: Dit zijn de grote, bekende chatbots (zoals de voorlopers van ChatGPT). Je geeft ze een opdracht: "Kies het juiste label."
  • Analogie: Een veelzijdige consultant die alles weet. Ze kunnen het probleem oplossen, maar ze moeten eerst nadenken en praten, wat veel tijd kost.
  • Resultaat: Ze zijn heel goed, vooral bij het categoriseren van onderwerpen, maar ze zijn vaak te traag en te duur voor snelle toepassingen. Ze komen net niet in de buurt van de "Super-Scouts".

2. De Testbaan (BTZSC)

Vroeger waren tests vaak on eerlijk of incompleet. Soms kregen de modellen al voorbeelden te zien (wat niet echt "zero-shot" is), of werden ze alleen getest op simpele taken.

BTZSC is anders. Het is een uitgebreide test met 22 verschillende datasets die de echte wereld nabootsen:

• Verschillende taken: Van gevoelens (positief/negatief) tot intenties (wat wil de klant?) en emoties (blij, boos, angstig).
• Verschillende moeilijkheidsgraden: Van simpele zinnen tot lange, complexe teksten.
• Verschillende domeinen: Van nieuws en reviews tot sociale media en politieke toespraken.

Het is alsof je de atleten niet alleen laat rennen op een vlakke baan, maar ook door modder, over heuvels en in de regen.

3. De Belangrijkste Bevindingen (De Uitslag)

De auteurs trokken vijf belangrijke conclusies:

1. De Rerankers zijn de nieuwe kampioenen: Modellen zoals Qwen3-Reranker-8B zijn de snelste en nauwkeurigste. Ze winnen het toernooi.
2. Embedding Models zijn de slimme keuze: Als je niet de allerbeste precisie nodig hebt, maar wel snelheid en lage kosten, zijn moderne embedding-modellen (zoals GTE-large) fantastisch. Ze sluiten de kloof met de zware modellen bijna dicht.
3. De "Alleskenners" (LLMs) zijn goed, maar traag: Ze doen het verrassend goed, vooral bij het begrijpen van onderwerpen, maar ze zijn te traag voor real-time toepassingen en blijven net iets achter bij de gespecialiseerde rerankers.
4. De "Logische Redenaars" (NLI) zitten vast: De oude methode van het omzetten van classificatie naar logische redenering (NLI) werkt nog steeds, maar het wordt niet beter als je de modellen groter maakt. Ze hebben een plafond bereikt.
5. Groter is niet altijd beter (voor iedereen): Als je een model groter maakt, worden rerankers en LLMs veel beter. Embedding-modellen worden echter niet veel beter als je ze vergroot; ze bereiken snel hun limiet.

Conclusie voor de Gemiddelde Mens

Vroeger dachten we dat de grootste chatbots altijd de beste waren voor alles. Deze paper laat zien dat dat niet zo is.

• Wil je de allerbeste nauwkeurigheid? Gebruik een Reranker (de Super-Scout).
• Wil je snelheid en efficiëntie zonder veel in te leveren? Gebruik een Embedding Model (de Slimme Boekhouder).
• Gebruik de grote LLMs alleen als je echt hun creatieve vermogen nodig hebt, want voor simpele categorisering zijn ze vaak te traag.

De auteurs hebben hun testbaan en code openbaar gemaakt, zodat iedereen in de toekomst eerlijk kan testen welke technologie het beste werkt voor hun specifieke probleem. Het is een belangrijke stap om te voorkomen dat we blindelings de "grootste" modellen kiezen, terwijl de "slimste" (en snellere) modellen vaak beter werken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs", geschreven in het Nederlands.

Titel: BTZSC: Een Benchmark voor Zero-Shot Tekstclassificatie

Publicatie: ICLR 2026
Auteur: Ilias Aarab (European Central Bank)

---

1. Het Probleem

Zero-shot tekstclassificatie (ZSC) belooft de noodzaak van kostbare, taakspecifieke annotatie te elimineren door teksten direct te koppelen aan menselijk leesbare labelbeschrijvingen. Hoewel vroege benaderingen voornamelijk afhankelijk waren van cross-encoder modellen die waren fijngefineerd op Natural Language Inference (NLI) taken, hebben recente vooruitgangen in tekst-embedding modellen, rerankers en instructie-getuned Large Language Models (LLMs) de dominantie van NLI-architecturen uitgedaagd.

Er bestaat echter geen eenduidige, gestandaardiseerde manier om deze diverse modelfamilies onder strikte zero-shot condities met elkaar te vergelijken. Bestaande benchmarks zoals MTEB (Massive Text Embedding Benchmark) evalueren classificatieprestaties vaak via supervised probes (lineaire klassificatoren getraind op gelabelde data bovenop bevroren embeddings), waardoor de ware zero-shot capaciteiten van deze modellen niet worden getest. Dit gebrek aan een uniforme evaluatie bemoeilijkt het begrijpen van de relatieve sterktes en zwaktes van moderne architecturen.

2. Methodologie: De BTZSC Benchmark

Om deze kloof te dichten, stellen de auteurs BTZSC (Benchmark for Textual Zero-Shot Classification) voor. Dit is een uitgebreide evaluatiesuite die 22 openbare datasets omvat, verdeeld over vier hoofdcategorieën:

• Sentiment: (bijv. Amazon Polarity, IMDB, Yelp)
• Onderwerp (Topic): (bijv. AG News, Manifesto, Yahoo Topics)
• Intentie: (bijv. Banking77, MASSIVE Intent)
• Emotie: (bijv. EmpatheticDialogues, Dair AI Emotion)

Kernkenmerken van de benchmark:

• Diversiteit: De datasets variëren in domein (nieuws, sociale media, reviews, politiek), aantal klassen (binair tot 77 klassen) en documentlengte (micro-tekst tot lange artikelen).
• Protocol: Strikte zero-shot evaluatie. Geen enkel model mag worden getraind of gefine-tuned op de BTZSC-datasets. Alle modellen gebruiken alleen hun vooraf getrainde parameters en generieke prompt-templates.
• Label Verbalisatie: Klassificatie gebeurt door de inputtekst te vergelijken met natuurlijke taalbeschrijvingen van de labels (bijv. "De algehele sentiment is {label}").
• Evaluatiemetrics: De primaire metric is Macro F1 (om onbalans in klassen te compenseren), aangevuld met Micro Accuracy, Precision en Recall.

Geëvalueerde Modelfamilies (Totaal 38 modellen):

1. NLI Cross-Encoders: Modellen getraind op NLI-datasets (bijv. BART-large-MNLI, DeBERTa-v3-NLI) die tekst en label als premise-hypothese-paar behandelen.
2. Embedding Models: Modellen die tekst omzetten in vectorrepresentaties (bijv. BGE, GTE, E5, Qwen3-Embedding). Classificatie gebeurt via cosine-similariteit.
3. Rerankers: Modellen oorspronkelijk voor zoekopdrachten (bijv. MonoT5, BGE-Reranker, Qwen3-Reranker) die query-document paren herschikken.
4. Instructie-getuned LLMs: Autoregressive modellen (bijv. Llama, Mistral, Qwen, Gemma) die de taak als multiple-choice probleem benaderen via prompting.

3. Belangrijkste Resultaten

De auteurs hebben een systematische vergelijking uitgevoerd over alle 38 modellen. De belangrijkste bevindingen zijn:

• State-of-the-Art (SOTA) Rerankers: Moderne rerankers, met name Qwen3-Reranker-8B, zetten een nieuwe SOTA neer met een gemiddelde Macro F1 van 0.72. Dit is een significante verbetering ten opzichte van NLI-cross-encoders (+12 F1 punten) en LLMs.
• Embedding Models als Efficiënte Alternatieven: Sterke embedding modellen zoals GTE-large-en-v1.5 sluiten de kloof in nauwkeurigheid aanzienlijk (Macro F1 ~0.62) en bieden de beste afweging tussen nauwkeurigheid en latentie. Ze presteren vaak beter dan NLI-modellen van vergelijkbare grootte.
• LLM Prestaties: Instructie-getuned LLMs in het bereik van 4–12B parameters (zoals Qwen3-8B en Mistral-Nemo-Instruct-2407) behalen concurrerende resultaten (Macro F1 tot 0.67). Ze excelleren vooral bij onderwerpclassificatie, maar blijven achter bij gespecialiseerde rerankers, vooral op intentie- en emotietaken.
• Plateau van NLI Cross-Encoders: Traditionele NLI-cross-encoders tonen een plateau in prestaties, zelfs naarmate de backbone-grootte toeneemt. Ze worden ingehaald door zowel moderne rerankers als sterke embedding modellen.
• Schalingswinst: Schalen (toename van parameteraantal) komt vooral ten goede aan rerankers en LLMs. Embedding modellen vertonen minder schalingswinst na een bepaald punt (rond 0.60-0.62 F1).

NLI als Proxy:
De studie toont aan dat prestaties op NLI-benchmarks (zoals MNLI) een goede voorspeller zijn voor zero-shot classificatie binnen de NLI-cross-encoder familie en bij LLMs. Voor embedding modellen is deze correlatie echter zwakker; eenmaal een basisniveau van NLI-competentie is bereikt, hangen de ZSC-prestaties meer af van de structuur van de embeddingruimte dan van de NLI-score.

4. Bijdragen en Significantie

De belangrijkste bijdragen van dit paper zijn:

1. Eerste Unifieerde Benchmark: BTZSC is de eerste benchmark die NLI-cross-encoders, embedding modellen, rerankers en instructie-getuned LLMs onder één strikt zero-shot protocol vergelijkt.
2. Praktische Richtlijnen: De resultaten bieden duidelijke richtlijnen voor practitioners:
   • Voor maximale nauwkeurigheid (en als kosten geen issue zijn): Gebruik moderne rerankers (Qwen3-Reranker-8B).
   • Voor optimale efficiency (snelheid vs. nauwkeurigheid): Gebruik sterke embedding modellen (GTE-large-en-v1.5).
   • Voor flexibiliteit in complexe prompts: Gebruik instructie-getuned LLMs (4B+ parameters), maar wees je bewust van de hogere kosten.
3. Open Science: De auteurs hebben de volledige code, de verwerkte datasets, de getrainde checkpoints en een live leaderboard gepubliceerd om reproduceerbaarheid en eerlijke vergelijkingen in de gemeenschap te bevorderen.

Conclusie

BTZSC onthult dat het landschap van zero-shot tekstclassificatie fundamenteel is veranderd. Waar NLI-modellen ooit de standaard waren, zijn gespecialiseerde rerankers nu de leiders in nauwkeurigheid, terwijl moderne embedding modellen de meest kostenefficiënte oplossing bieden. LLMs zijn sterk, maar hun superieure prestaties op andere taken vertalen zich niet automatisch naar de beste zero-shot classificatie zonder specifieke optimalisatie of enorme rekenkracht. Deze benchmark vormt een cruciale basis voor toekomstig onderzoek naar schaalbare en efficiënte zero-shot oplossingen.