Neural Models and Language Model Prompting for the Multidimensional Evaluation of Open-Ended Conversations

Technische Zusammenfassung: Neuronale Modelle und Prompting für die multidimensionale Evaluation offener Gespräche

1. Problemstellung
Die zunehmende Verbreitung generativer KI-basierter Dialogsysteme stellt die Evaluierung dieser Systeme vor eine große Herausforderung. Reale Dialoge sind dynamisch und schwer in statischen Korpora nachzubilden. Während menschliche Evaluierungen zwar bevorzugt werden, sind sie kostspielig, zeitaufwendig und oft subjektiv. Bestehende automatische Metriken (wie BLEU/ROUGE) zeigen eine schwache Korrelation mit menschlichen Urteilen. Der Fokus dieses Papers liegt auf der DSTC-12 Challenge (Track 1), die die automatische Evaluation von Open-Domain-Dialogen auf zehn verschiedenen Dimensionen (z. B. Empathie, Vertrauen, Relevanz, Gesamtqualität) auf Dialogebene fordert. Ein zentrales Problem ist die Diskrepanz zwischen Trainings-/Validierungsdaten und dem Testset, insbesondere hinsichtlich unterschiedlicher Score-Verteilungen und -bereiche.

2. Methodik
Das Team ORALIS entwickelte vier verschiedene Ansätze zur Vorhersage von dimensionspezifischen Scores, unter der strikten Einschränkung, Modelle mit weniger als 13 Milliarden Parametern zu verwenden. Die vier Strategien sind:

• i. Regression: Training von Encoder-basierten Modellen (ModernBERT Large, <1 Mrd. Parameter) zur Vorhersage von Scores als reelle Zahlen. Das Modell nutzt einen großen Kontextfenster (8K Token), um den gesamten Dialog zu erfassen.
• ii. Klassifikation: Behandlung der Scores als diskrete Klassen (ganze Zahlen). Hierfür wurden Klassifikatoren auf Basis von Sentence-BERT (SBERT) trainiert, wobei die Scores auf einen diskreten Bereich (z. B. 0-8) skaliert wurden.
• iii. LM-Prompting (Language Models as Judges): Nutzung von Large Language Models (LLMs) wie Qwen 2.5 7B, Deepseek Llama 8B und Deepseek Qwen 7B. Verschiedene Prompting-Strategien wurden getestet (Zero-Shot, Few-Shot, One-Shot, Self-Consistency) mit unterschiedlichen Dialog-Kontexten (z. B. nur die letzten 40%, Zusammenfassungen oder der gesamte Dialog).
• iv. Hybrid-Ansatz: Eine Kombination der besten Ansätze (Regression und LM-Prompting) für jede einzelne Dimension, basierend auf der Validierungsleistung. Die Klassifikation wurde hier bewusst ausgeschlossen, da sie diskrete Werte liefert, die eine fehleranfällige Nachskalierung erfordern.

Datenvorbereitung:
Da das offizielle DSTC-12-Dataset (185 Dialoge) zu klein für das Training war, wurden externe Datensätze (CONTURE und FED) integriert. Die Dimensionen dieser Datensätze wurden heuristisch auf die DSTC-12-Dimensionen gemappt (z. B. "Inquisitive" zu "Curiosity") und die Scores linear reskaliert, um die Zielbereiche von DSTC-12 zu erreichen.

3. Wichtige Beiträge

• Vergleichende Analyse: Systematischer Vergleich von klassischen kleinen Modellen (Regression/Klassifikation) gegen Prompting-Ansätze mit LLMs unter Ressourcenbeschränkungen (<13B Parameter).
• Hybrid-Strategie: Entwicklung eines hybriden Evaluators, der die Stärken verschiedener Methoden pro Dimension kombiniert.
• Datenanalyse: Identifikation kritischer Inkonsistenzen zwischen den Trainings-/Validierungsdaten und dem Testset, insbesondere bei den Score-Verteilungen und -bereichen (z. B. ändert sich der Bereich für "Empathie" von 1-12 im Training auf 1-10 im Test).
• Kontext-Strategien: Untersuchung verschiedener Eingabemethoden für LLMs (Zusammenfassungen vs. Rohdaten, Teilbereiche des Dialogs) und deren Einfluss auf die Korrelation.

4. Ergebnisse
Die Ergebnisse zeigen ein komplexes Bild, insbesondere aufgrund der Dateninkonsistenzen:

• Gesamtleistung (Testset): Kein System des Teams übertraf den Baseline-Ansatz (ein feinabgestimmtes Llama-3.1-8B-Instruct) in Bezug auf die durchschnittliche absolute Korrelation (0,14–0,15 vs. 0,17 beim Baseline).
• Einzelne Dimensionen: Die eigenen Ansätze übertrafen den Baseline in den meisten einzelnen Dimensionen.
  • Der Klassifikationsansatz war am erfolgreichsten in Bezug auf die Anzahl der gewonnenen Dimensionen (6 von 10, darunter Empathie), obwohl er insgesamt am schlechtesten abschnitt.
  • Der Regression-Ansatz zeigte auf dem Validierungsset sehr hohe Korrelationen (bis zu 0,79 für Relevanz), brach aber auf dem Testset stark ein (Overfitting), was auf die unterschiedlichen Score-Verteilungen zurückgeführt wird.
  • Das LM-Prompting zeigte die beste Generalisierungsfähigkeit auf den Testdaten. Interessanterweise performte es bei einigen Dimensionen (z. B. Neugier, Proaktivität) auf dem Testset besser als auf dem Validierungsset, im Gegensatz zu den trainierten Modellen.
• Korrelationen: Negative Korrelationen traten bei einigen Dimensionen auf, was auf ein konzeptionelles Missverständnis zwischen LLMs und menschlichen Annotatoren oder auf "Rauschen" in den menschlichen Labels hindeutet.

5. Bedeutung und Fazit
Das Paper demonstriert, dass auch kleine, effiziente Modelle (Encoder-basiert) wettbewerbsfähig mit großen LLMs sein können, wenn sie richtig trainiert werden. Allerdings offenbart die Studie ein fundamentales Problem bei der Evaluierung von Dialogsystemen: Die Qualität und Konsistenz der Annotationen ist kritisch. Die Diskrepanz zwischen Trainings- und Testdaten (unterschiedliche Score-Bereiche und -Verteilungen) führt dazu, dass Modelle, die auf dem Validierungsset hervorragend funktionieren, auf dem Testset versagen.

Schlussfolgerung:
Für zukünftige Arbeiten wird empfohlen, die Qualität der Datensätze durch dedizierte Annotationskampagnen zu verbessern und Domain-Adaptation-Techniken zu nutzen, um Datenknappheit zu überwinden. Die Ergebnisse unterstreichen, dass die Zuverlässigkeit automatischer Evaluierung stark von der Konsistenz der menschlichen Ground-Truth-Labels abhängt.