Multilingual KokoroChat: A Multi-LLM Ensemble Translation Method for Creating a Multilingual Counseling Dialogue Dataset

Probleemstelling

De ontwikkeling van effectieve AI-systemen voor mentale gezondheidszorg wordt ernstig belemmerd door het gebrek aan hoogwaardige, publiek beschikbare datasets met counseling-gesprekken. Bestaande datasets zijn vaak ofwel gegenereerd door LLM's (wat leidt tot authenticiteitsproblemen en minder dialoogomwentelingen) ofwel beperkt tot één taal (voornamelijk Engels of Chinees).

De specifieke uitdaging waar dit paper op ingaat, is het vertalen van KokoroChat, een groot, handmatig samengesteld corpus van Japanse counseling-gesprekken, naar het Engels en het Chinees. Het fundamentele probleem bij machine vertaling met Large Language Models (LLM's) is dat er geen enkel model bestaat dat voor elke invoer de beste vertaling garandeert. Modellen hebben verschillende sterke en zwakke punten afhankelijk van de context. In een gevoelige domein zoals counseling, waar vertaalfouten of onnatuurlijke formuleringen schadelijk kunnen zijn, is het vertrouwen op één enkel LLM ontoereikend voor het garanderen van consistente, hoogwaardige kwaliteit.

Methodologie: Multi-LLM Ensemble Vertaling

De auteurs stellen een innovatieve Multi-LLM Ensemble-methode voor, bestaande uit twee fasen, om de beste vertaling te synthetiseren uit meerdere bronnen. In plaats van te kiezen voor de beste output van een enkel model, wordt een nieuwe, superieure output gecreëerd.

1. Generatie van Diverse Hypotheses:

   • Drie verschillende state-of-the-art LLM's (voor Engels: GPT-5, Gemini 2.5 Pro, Grok-4; voor Chinees: GPT-5, Gemini 2.5 Pro, Qwen-Plus) genereren onafhankelijke vertalingen.
   • Belangrijk detail: De vertaling gebeurt niet zin-voor-zin, maar op dialoogniveau. De volledige conversatiegeschiedenis wordt als één input verstrekt. Dit zorgt voor consistentie in terminologie, stijl en context tussen de sprekers (counselor en cliënt), wat vaak verloren gaat bij zin-voor-zin vertaling.

2. Integratie en Verfijning (Refinement):

   • Een vierde, gespecialiseerd "refiner" LLM (in dit geval Gemini 2.5 Pro) ontvangt de originele Japanse tekst en de drie vertaalde hypotheses.
   • Dit model volgt een gestructureerde prompt:
     • Het analyseert de sterke en zwakke punten van elke hypothesis per dialoogbeurt.
     • Het synthetiseert een nieuwe, gepolijste vertaling door de sterke punten van alle kandidaten te combineren en de zwakke punten te corrigeren.
   • Dit proces vindt plaats binnen de context van de volledige dialoog, waardoor het model rekening kan houden met de flow van het gesprek.

Belangrijkste Bijdragen

• Multilingual KokoroChat: De creatie van het eerste grote, meertalige dataset voor psychologische counseling, gebaseerd op het grootste handmatig samengestelde Japanse corpus (KokoroChat). Het bevat ongeveer 6.500 gesprekken in het Engels en het Chinees.
• Nieuwe Ensemble-techniek: Een bewezen methode die verder gaat dan selectie (het kiezen van de beste output) en in plaats daarvan fusie toepast (het creëren van een nieuwe, betere output door analyse en synthese).
• Kwaliteitsvalidatie: Een rigoureuze evaluatie die aantoont dat deze ensemble-methode superieur is aan individuele state-of-the-art modellen, zowel kwantitatief als kwalitatief.

Resultaten

De methode werd geëvalueerd via automatische metrics en menselijke beoordelingen voor vertalingen naar het Engels en het Chinees.

• Automatische Evaluatie:
  • Gebruikmakend van referentievrije metrics (XCOMET en MetricX), behaalde de voorgestelde methode de beste of gelijkwaardige scores vergeleken met de individuele modellen.
  • Voor Chinese vertalingen was de verbetering statistisch significant ten opzichte van alle basismodellen.
• Menselijke Evaluatie:
  • In paarwise vergelijkingen (waarbij beoordelaars de context van het gesprek zagen) gaf de menselijke evaluatie overweldigende voorkeur aan de ensemble-vertalingen.
  • De methode won in de meeste gevallen significant van elk individueel model (bijvoorbeeld 83% "Win" vs 16% "Lose" in vergelijking met GPT voor Chinees).
  • Beoordelaars prezen de vertalingen om hun natuurlijkheid en contextuele geschiktheid, cruciale factoren voor counseling.
• Case Studies:
  • Succesvolle gevallen toonden aan dat het refiner-model empathische nuances en beleefde toon kon behouden die door andere modellen waren gemist.
  • Mislukte gevallen (waarbij het ensemble als inferieur werd beoordeeld) bleken vaak het gevolg te zijn van een compromis tussen strikte semantische trouw en conversatiestroom, of door experimentele artefacten in de evaluatieopzet.

Betekenis en Conclusie

Dit onderzoek demonstreert dat voor kritieke en gevoelige domeinen zoals mentale gezondheidszorg, het vertrouwen op één LLM ontoereikend is. De voorgestelde Multi-LLM Ensemble-methode biedt een robuuste oplossing om de variabiliteit in modelprestaties te overwinnen en consistent hoogwaardige vertalingen te produceren.

De vrijgegeven Multilingual KokoroChat-dataset vormt een waardevolle basis voor de internationale onderzoeksgemeenschap om meertalige AI-counselors te ontwikkelen. De studie benadrukt ook dat automatische vertalingsmetrics nog niet volledig in staat zijn om de complexiteit van dialoognatuurlijkheid en contextuele coherentie te meten, en dat menselijke evaluatie essentieel blijft voor het beoordelen van kwaliteit in dit domein. De methode is veelbelovend voor vertalingen naar taalkoppels met minder bronnen, waar de prestaties van individuele modellen vaak lager zijn.