JFinTEB: Japanese Financial Text Embedding Benchmark

Probleemstelling

Hoewel Japan een van de grootste financiële markten ter wereld is en de adoptie van NLP-technologieën in Japanse financiële instellingen toeneemt, ontbreekt er tot nu toe een gestandaardiseerde benchmark voor het evalueren van tekstembeddings specifiek voor de Japanse financiële sector.

• Bestaande benchmarks zoals MTEB (Engels), MMTEB (meertalig) en JMTEB (algemeen Japans) dekken de specifieke taalpatronen, regelgevende terminologie en culturele context van Japanse financiële teksten onvoldoende.
• FinMTEB richt zich wel op de financiële sector, maar alleen voor het Engels en Chinees.
• Financiële documenten (zoals kwartaalrapporten en effecteninschrijvingen) bevatten formele, domeinspecifieke formuleringen die zelden voorkomen in algemene corpora. Dit maakt bestaande evaluaties ontoereikend voor realistische scenario's zoals zoekopdrachten, clustering en zero-shot classificatie binnen financiële systemen.

Methodologie

De auteurs introduceren JFinTEB, het eerste uitgebreide benchmarkkader voor Japanse financiële tekstembeddings. De aanpak omvat:

1. Taakontwerp en Datasetconstructie:

   • Het benchmark bestaat uit 11 geverifieerde taken verdeeld over drie categorieën:
     • Classificatie (7 taken): Omvat sentimentanalyse (o.a. chABSA, Sentiment), domein- en industrie-classificatie (Domain, Industry 17, Industry 33), tijdsgerelateerde vooruitzichten (Horizon) en nieuwsclassificatie (Wikinews). De Industry-datasets zijn nieuw en koppelen bedrijfsbeschrijvingen uit Wikipedia aan officiële JPX-industriecategorieën.
     • Retrieval (4 taken): Bevat instructievolgende QA-taken (JaFIn, PFMT) en documentretrieval (Wikinews, Wikipedia). Deze datasets zijn grotendeels geautomatiseerd gegenereerd zonder handmatige annotatie.
     • Clustering (1 taak): Reason, waarbij economische redeneringen in 13 categorieën worden gegroepeerd.
   • Kwaliteitsborging: Er zijn strenge stabiliteitscriteria toegepast. Taken die grote verschillen toonden tussen validatie- en testsets of inconsistentie vertoonden tussen modelgroottes (zoals MultiFin-ja en Industry 33) zijn verwijderd om betrouwbare resultaten te garanderen.

2. Evaluatieprotocol:

   • De evaluatie volgt de standaarden van JMTEB: Macro-F1 voor classificatie, NDCG@10 voor retrieval en V-measure voor clustering.
   • Er wordt geen training uitgevoerd op de validatie- of testsets; deze worden puur gebruikt voor het selecteren van configuraties en het rapporteren van de uiteindelijke scores.

3. Geëvalueerde Modellen:

   • Er zijn 14 representatieve embedding-modellen getest, waaronder:
     • Japans-specialistische modellen: Sarashina (1.2B parameters), Ruri v3 serie (30M-310M), en GLuCoSE.
     • Meertalige modellen: Jina, Multilingual E5 (small/base/large), en OpenAI text-embedding-3.
     • Domeinadaptatie baselines: BERT en FinBERT (voortraind op financiële corpora).

Belangrijkste Resultaten

De evaluatie van de 14 modellen leverde de volgende inzichten op:

• Prestatieverschil: Japans-specialistische modellen presteren over het algemeen iets beter dan meertalige modellen (gemiddelde score: Sarashina 80,9 vs. E5large 79,3), maar de kloof neemt af naarmate meertalige modellen hun Japanse capaciteiten verbeteren.
• Taak-specifieke prestaties:
  • Bij classificatie scoort Sarashina het hoogst (81,7).
  • Bij retrieval presteert Jina het best (94,0), gevolgd door Sarashina (93,5).
  • OpenAI large toont sterke prestaties op taken afgeleid van de "Economy Watchers Survey", wat suggereert dat deze modellen mogelijk op dergelijke teksten zijn getraind.
• Modelgrootte: Er is een duidelijke correlatie tussen modelgrootte en prestatie. Grotere modellen presteren consistent beter. Voor resource-intensieve scenario's is Sarashina de beste keuze, terwijl Ruri310M een sterke optie is voor middellange resources.
• Retrieval-saturatie: Veel retrieval-taken behalen hoge scores, wat niet betekent dat de taken triviaal zijn, maar eerder aangeeft dat huidige embedding-modellen al zeer mature zijn voor realistische financiële zoekscenario's.
• Domeinadaptatie: FinBERT presteert significant beter dan het algemene BERT, wat het potentieel bevestigt voor het ontwikkelen van specifiek voor de Japanse markt getrainde financiële embeddings.

Bijdragen

De paper levert drie hoofdbijdragen:

1. Ontwikkeling van JFinTEB: Het eerste uitgebreide benchmarkkader voor Japanse financiële tekstembeddings met 11 geverifieerde taken.
2. Systematische Evaluatie: Een grondige analyse van 14 modellen, inclusief inzicht in de prestaties van gespecialiseerde versus meertalige modellen in de financiële sector.
3. Open Access: De volledige publicatie van datasets, evaluatiecode en baseline-resultaten via GitHub, wat reproduceerbaar onderzoek in de Japanse financiële tekstmining mogelijk maakt.

Betekenis en Toekomstperspectief

JFinTEB vult een kritieke lacune in de NLP-landkaart voor de Japanse financiële sector. Het biedt een gestandaardiseerd protocol voor het evalueren van modellen die worden gebruikt in zoeksystemen, aanbevelingen en sentimentanalyse binnen financiële instellingen.

• Toekomstige uitbreidingen: De auteurs plannen om het benchmark uit te breiden met taken voor langere documenten (zoals volledige financiële rapporten), generatieve taken (RAG), en menselijke evaluaties om de complexiteit van financiële NLP volledig te dekken.
• Ethiek: De datasets bevatten geen persoonsgegevens en zijn afkomstig van publieke bronnen of geanonimiseerde enquêtes, hoewel er erkende biases zijn in de bronnen (bijv. specifieke respondentgroepen bij enquêtes).

Kortom, JFinTEB legt de basis voor geavanceerde, domeinspecifieke tekstverwerking in Japan en stimuleert verdere innovatie in financiële NLP-toepassingen.