PL-MTEB: Polish Massive Text Embedding Benchmark

Technische Samenvatting: PL-MTEB (Polish Massive Text Embedding Benchmark)

1. Probleemstelling

Text embeddings (tekstvectoren) zijn essentieel voor moderne NLP-toepassingen zoals semantisch zoeken, clustering en classificatie. Hoewel de Massive Text Embedding Benchmark (MTEB) de standaard is voor het evalueren van deze modellen, is deze grotendeels gericht op het Engels. Multilinguale modellen presteren vaak inconsistent in andere talen, en er ontbrak een uitgebreide, taalspecifieke benchmark voor het Pools om de kwaliteit van tekstrepresentaties in deze taal systematisch te meten.

2. Methodologie

De auteurs introduceren PL-MTEB, een uitgebreid benchmark-raamwerk specifiek voor het Pools. De methodologie omvat:

• Taakcategorieën: De benchmark is onderverdeeld in vijf diverse NLP-taken:
  1. Classificatie: Voorspellen van labels via logistische regressie.
  2. Clustering: Groeperen van teksten met behulp van mini-batch k-means (gemeten met de v-measure).
  3. Pair Classification: Het bepalen van de relatie tussen twee tekstparen (bijv. entailment).
  4. Information Retrieval (Retrieval): Het vinden van relevante documenten op basis van een query (gemeten met nDCG@10).
  5. Semantic Textual Similarity (STS): Het meten van de correlatie tussen de gelijkenis van zinnen (gemeten met de Spearman-correlatie).
• Dataset Creatie: Er zijn 12 nieuwe taken toegevoegd op basis van bestaande datasets en twee volledig nieuwe corpora ontwikkeld: PLSC (Polish Library of Science Corpus) en Wikinews-PL, specifiek om het tekort aan clustering-taken op te vullen.
• Evaluatieprotocol: Er zijn 30 modellen geëvalueerd, variërend van kleine modellen (<150M parameters) tot extra grote modellen (>1B parameters). De evaluatie maakt onderscheid tussen puur Poolse modellen en multilinguale modellen, en houdt rekening met de zero-shot setting (hoeveel van de testdata het model nog niet eerder heeft gezien tijdens training).

3. Belangrijkste Bijdragen

• Introductie van PL-MTEB: Een allesomvattende benchmark met 30 taken die de huidige staat van Poolse tekst-embeddings vastlegt.
• Nieuwe Datasets: De creatie van hoogwaardige datasets voor wetenschappelijke teksten (PLSC) en nieuwsartikelen (Wikinews-PL).
• Open Source Integratie: De volledige broncode, de datasets en de resultaten zijn publiekelijk beschikbaar gemaakt via GitHub en Hugging Face, en zijn geïntegreerd in het bredere MTEB-ecosysteem.
• Uitgebreide Modelanalyse: Een gedetailleerde vergelijking tussen gespecialiseerde Poolse modellen (zoals de MMLW- en Stella-PL-series) en state-of-the-art multilinguale LLM-gebaseerde embeddings.

4. Belangrijkste Resultaten

• Algemeen Best Presterend: Het model Qwen3-Embedding-8B behaalde de hoogste gemiddelde score over de gehele benchmark. De prestaties verbeteren over het algemeen naarmate de modelgrootte toeneemt.
• Taakspecifieke Winnaars: Er is geen "universeel" model dat in elke categorie wint:
  • Classificatie & Clustering: Worden gedomineerd door de grote Qwen3-modellen.
  • Retrieval: De Poolse stella-pl-retrieval-8k presteert hier het best, wat de effectiviteit van taalspecifieke training aantoont.
  • STS (Semantic Similarity): Het stella-pl model voert de lijst aan.
  • Pair Classification: Het multilinguale BGE-Multilingual-Gemma2 model presteert hier het sterkst.
• Efficiëntie: In de categorie "Small models" (<150M) presteert mmlw-roberta-base uitzonderlijk goed en verslaat het zelfs sommige grotere modellen uit de volgende categorie.

5. Betekenis en Conclusie

PL-MTEB biedt een noodzakelijke standaard voor de Poolse NLP-gemeenschap. Het laat zien dat hoewel zeer grote multilinguale modellen (zoals Qwen3) de algemene leiding nemen, gespecialiseerde Poolse modellen nog steeds superieur zijn in specifieke taken zoals retrieval en similarity. De benchmark helpt ontwikkelaars bij het maken van een geïnformeerde keuze tussen rekenkracht (grote modellen) en taalspecifieke precisie (lokale modellen).