Neural Models and Language Model Prompting for the Multidimensional Evaluation of Open-Ended Conversations

Probleemstelling

De snelle groei van generatieve AI-gedreven dialogsystemen heeft de noodzaak voor robuuste evaluatie benadrukt. Echter, het evalueren van open-ended dialogen is complex omdat deze dynamisch en onvoorspelbaar zijn. Traditionele methoden hebben tekortkomingen:

• Simulatie: Vaak onrealistisch.
• Menselijke evaluatie: Hoewel het meest betrouwbaar, is het kostbaar, tijdrovend en subjectief.
• Automatische metrics: Traditionele referentie-gebaseerde metrics (zoals BLEU/ROUGE) correleren slecht met menselijke oordelen in open domeinen.

De kernuitdaging ligt in het ontwikkelen van methoden die menselijke oordelen over meerdere kwaliteitsdimensies (zoals empathie, relevantie, proactiviteit) nauwkeurig voorspellen, zonder afhankelijk te zijn van enorme rekenkracht of onhaalbare menselijke evaluatie.

Methodologie

Het team ORALIS heeft vier verschillende benaderingen ontwikkeld en ingediend voor de DSTC-12 Track 1 (Dialog System Evaluation), met als doel scores te voorspellen op dialoogniveau voor tien specifieke dimensies (o.a. Empathie, Vertrouwen, Vaardigheid, Relevantie).

De werkstroom omvatte drie hoofdstrategieën, aangevuld met een hybride aanpak:

1. LM Prompting (Language Models als Evaluators):

   • Gebruik van autoregressieve taalmodellen (LM's) via prompting om scores te genereren.
   • Modellen: Deepseek Llama 8B, Deepseek Qwen 7B, en Qwen 2.5 7B Instruct (allemaal <13B parameters).
   • Strategieën: Verschillende prompting-technieken werden getest, waaronder zero-shot, one-shot, few-shot (3 voorbeelden), en self-consistency prompting.
   • Context: Verschillende manieren om de dialoogcontext in te voeren (bijv. laatste 40%, samenvatting van de volledige dialoog, of de volledige tekst).
   • Doel: De LM fungeert als "rechter" die een score en een korte uitleg genereert.

2. Regressiemodellen:

   • Architectuur: Een regressielayer bovenop een ModernBERT Large encoder.
   • Voordelen: ModernBERT ondersteunt een contextvenster van 8K tokens (veel groter dan de standaard 512 tokens van BERT), wat essentieel is voor lange dialogen. Het model heeft <1 miljard parameters.
   • Training: Getraind als regressie-taak (voorspellen van continue waarden) met Mean Squared Error als verliesfunctie.

3. Classificatiemodellen:

   • Architectuur: Klassieke neurale netwerken (MLP) bovenop Sentence-BERT (SBERT) encodings.
   • Aanpak: Scores werden behandeld als discrete klassen (integers). De oorspronkelijke scores werden gerescaled en afgerond om als classificatieprobleem te worden opgelost.
   • Optimalisatie: Twee-staps grid search voor hyperparameters en regularisatie om overfitting te minimaliseren.

4. Hybride Aanpak:

   • Een combinatie van de beste presterende methoden per dimensie op het validatieset.
   • De keuze viel uitsluitend op Regressie en LM Prompting (Classificatie werd uitgesloten vanwege de noodzaak tot mapping van discrete waarden en potentiële afrondingsfouten).

Datasets:
Om de beperkte omvang van het officiële DSTC-12 dataset (185 dialogen) te compenseren, werden twee extra datasets gebruikt: CONTURE en FED. Omdat deze datasets andere schalen en dimensienamen hadden, werd een heuristische mapping toegepast (zie Tabel 2 in het artikel) en werden scores lineair herschaald naar de DSTC-12 schalen.

Belangrijkste Bijdragen

• Vergelijking van Schalen: Het paper vergelijkt effectief de prestaties van grote LM's via prompting (7-8B parameters) tegenover zeer kleine, gespecialiseerde encoder-modellen (<1B parameters) voor multidimensionale evaluatie.
• Context-gevoeligheid: Het onderzoek toont aan dat de keuze van de dialoogcontext (bijv. samenvatting vs. volledige tekst) een grotere invloed heeft op de correlatie dan de keuze van het specifieke LM-model.
• Data-analyse: Een kritische bevinding is de ontdekking van significante inconsistenties in de scoreverdeling en -bereiken tussen het trainings/validatieset en het testset, wat de evaluatie van modellen bemoeilijkt.

Resultaten

De resultaten tonen een complex beeld van generalisatie en overfitting:

• Validatieset vs. Testset: Er was een drastische daling in prestaties van het validatieset naar het testset voor de regressie- en classificatiemodellen.
  • Validatieset: Regressie en hybride modellen behaalden hoge correlaties (0.4 - 0.5 gemiddeld).
  • Testset: Alle systemen scoorden laag (gemiddelde absolute correlatie tussen 0.14 en 0.15). De baseline (een gepromptte Llama-3.1-8B) scoorde het hoogst met 0.17.
• Overfitting: De regressie- en classificatiemodellen lijken zwaar overgefit op het trainingsdata, wat leidt tot negatieve correlaties op de testset voor bepaalde dimensies (bijv. Relevantie, NonRepetition).
• Generalisatie van LM Prompting: Het LM prompting-systeem toonde de beste generalisatie. Hoewel het op het validatieset soms minder goed scoorde, presteerde het op het testset vaak beter dan de trainingsprestaties suggereren voor dimensies zoals Proactiviteit, Curiosity en Overall.
• Dimensie-specifieke prestaties:
  • Classificatie: Presteerde verrassend goed op het aantal gewonnen dimensies (6 dimensies, waaronder Empathie), ondanks een lage gemiddelde score.
  • Regressie: Zeer sterk op het validatieset voor Relevantie, NonRepetition, Proactiviteit en Curiosity, maar faalde op het testset.
  • Hybride: Presteerde slecht op het testset, wat suggereert dat de selectie van modellen op basis van het validatieset niet robuust is voor de testdata.

Betekenis en Conclusie

Het paper concludeert dat hoewel geen enkel systeem de baseline op het testset overtrof op het niveau van de gemiddelde absolute correlatie, de traditionele, kleinere modellen (regressie/classificatie) potentieel hebben dat vergelijkbaar is met grotere LM's, mits de data-kwaliteit en consistentie beter zijn.

De belangrijkste inzichten zijn:

1. Data-inconsistentie: De grote discrepantie in scoreverdelingen tussen trainings- en testdata is een fundamenteel probleem dat de evaluatie van automatische metrics verstoort. Annotatoren en modellen interpreteerden de dimensies mogelijk anders, of de schalen verschilden te sterk.
2. Rol van LM's: LM prompting biedt betere generalisatie voor onbekende data, terwijl gespecialiseerde kleine modellen (onder 1B parameters) uitstekend kunnen presteren als ze op consistente data worden getraind.
3. Toekomstperspectief: Er is een dringende noodzaak voor betere datasetkwaliteit, consistentere annotatie-instructies en mogelijk domeinadaptatie op grotere datasets om de kloof tussen menselijke en automatische evaluatie te dichten.

Samenvattend biedt dit onderzoek een waardevolle analyse van de huidige staat van automatische dialogevaluatie en benadrukt het dat de kwaliteit van de data en de consistentie van de annotaties minstens zo belangrijk zijn als de complexiteit van het gekozen model.