Automated Coding of Communications in Collaborative Problem-solving Tasks Using ChatGPT

Die Studie zeigt, dass ChatGPT zur automatisierten Kodierung von Kommunikationsdaten in kollaborativen Problemlösungsaufgaben eingesetzt werden kann, wobei die Genauigkeit jedoch von der Modellversion, dem verwendeten Kodierungsrahmen und der Aufgabenart abhängt und nicht zwangsläufig durch neuere, auf Schlussfolgerungen spezialisierte Modelle verbessert wird.

Das Wesentliche

🤖 ChatGPT als neuer Team-Sport-Beobachter: Eine Reise in die Welt der Zusammenarbeit

Stellen Sie sich vor, Sie beobachten ein großes Sportturnier, bei dem Teams zusammenarbeiten müssen, um schwierige Rätsel zu lösen. Das Problem ist: Es gibt so viele Teams und so viele Gespräche, dass ein einziger menschlicher Beobachter (ein "Schiedsrichter") nie alle Gespräche live mitbekommen und bewerten könnte. Das ist teuer und dauert ewig.

Diese Studie fragt sich: Können wir einen KI-Roboter (ChatGPT) als Schiedsrichter einsetzen, der diese Gespräche liest und bewertet?

Hier ist die Geschichte der Forschung, einfach erklärt:

1. Das große Problem: Der "menschliche Flaschenhals" 🚧

Bisher mussten Menschen jede einzelne Nachricht in einem Chat lesen und in Schubladen stecken (z. B. "Hier wurde eine Idee geteilt" oder "Hier wurde gestritten"). Das ist wie das manuelle Sortieren von Millionen von Briefen. Es ist mühsam, teuer und bremst die Forschung aus.
Die Forscher wollten wissen: Kann ein KI-Modell diese Arbeit übernehmen, ohne dass wir erst Tausende von Beispielen von Menschen lernen lassen müssen?

2. Der Test: Fünf verschiedene Spiele 🎮

Die Forscher gaben dem KI-Beobachter fünf verschiedene Aufgaben, bei denen Teams zusammenarbeiten mussten:

• Zwei naturwissenschaftliche Spiele: Teams mussten Rätsel über Wasserdampf (Kondensation) und Vulkanausbrüche lösen. Hier gab es viele Fachbegriffe wie "Magma" oder "Moleküle".
• Drei allgemeine Spiele: Teams mussten verhandeln, Entscheidungen treffen oder Buchstaben in Zahlen umwandeln. Hier ging es mehr um Strategie und Kommunikation.

3. Die Ergebnisse: Nicht jeder Roboter ist gleich gut 🤖

Die Forscher probierten verschiedene Versionen von ChatGPT aus (von der Standard-Version bis zu den neuen, "denkenden" Modellen).

• Der Gewinner: Die Version GPT-4o war der beste Schiedsrichter. Sie lag fast auf Augenhöhe mit menschlichen Experten.
• Die Überraschung: Die neuen, teuren "Denk-Modelle" (o1-mini, o3-mini), die eigentlich für komplexe Logik gedacht sind, waren nicht besser. Manchmal waren sie sogar etwas schlechter.
  • Vergleich: Es ist wie beim Fußball: Ein Weltklasse-Torwart (GPT-4o) ist besser als ein Torwart, der extra einen teuren Helm mit "Super-Denk-Kraft" trägt, aber die einfachen Bälle verpasst. Für diese Aufgabe brauchte man keinen Super-Denker, sondern einen guten Beobachter.

4. Das große Hindernis: Fachchinesisch vs. Alltagssprache 🧪🗣️

Hier wurde es interessant.

• Bei den allgemeinen Spielen (Verhandeln, Entscheidungen) war die KI fast so gut wie der Mensch.
• Bei den Wissenschaftsspielen (Vulkan, Kondensation) hatte die KI größere Probleme.
  • Warum? Wenn im Chat Begriffe wie "seismische Aktivität" oder "Molekülbewegung" fielen, rutschte die KI öfter in die falsche Schublade.
  • Aber: Selbst ohne diese Fachbegriffe war die KI bei den Wissenschaftsthemen noch nicht perfekt. Das lag nicht nur am Wortschatz, sondern daran, wie die Aufgaben gestellt waren.

5. Der "Koch-Rezept"-Test: Verbessert man die KI durch Feedback? 📝🍳

Die Forscher dachten sich: "Wenn die KI einen Fehler macht, geben wir ihr ein Beispiel, wie es richtig geht, und bitten sie, es noch einmal zu versuchen."

• Ergebnis: Das half nur bedingt.
  • Bei einem Spiel (Vulkan) wurde die KI dadurch etwas besser (wie ein Koch, der nach einem Feedback sein Rezept leicht anpasst).
  • Bei einem anderen Spiel (Kondensation) half es gar nichts. Die KI verstand zwar den einen Fehler, machte aber dafür neue Fehler bei anderen Dingen.
  • Lehre: Manchmal ist das ursprüngliche Rezept schon so gut, dass man es nicht einfach durch ein paar Beispiele verbessern kann.

6. Das Wichtigste: Das "Kochbuch" (Der Bewertungsrahmen) 📖

Der wichtigste Fund der Studie war: Es kommt darauf an, wie man die Regeln aufschreibt.

• Ein Bewertungsrahmen, der nur auf trockener Theorie basiert (Framework 1), war für die KI schwer zu verstehen. Sie war verwirrt.
• Ein Bewertungsrahmen, der auf echten Daten und Erfahrung basiert (Framework 2), war für die KI wie eine klare Landkarte. Hier konnte sie brillieren.
  • Vergleich: Wenn Sie einem Roboter sagen "Sei nett", ist das vage. Wenn Sie sagen "Lächle, wenn jemand 'Hallo' sagt und gib ihm die Hand", versteht der Roboter das viel besser.

Fazit: Was bedeutet das für uns? 🌟

Diese Studie sagt uns: Ja, wir können KI nutzen, um Teamarbeit zu bewerten, aber wir müssen klug sein.

1. Kein "Teurer ist besser": Man muss nicht das allerneueste, teuerste KI-Modell kaufen. Ein bewährtes Modell wie GPT-4o reicht oft aus.
2. Die Regeln müssen klar sein: Je einfacher und praxisnäher die Bewertungsregeln sind, desto besser arbeitet die KI.
3. Ein Team aus Mensch und Maschine: Die KI ist ein fantastischer Assistent, der 80–90 % der Arbeit erledigen kann. Aber sie sollte den Menschen nicht komplett ersetzen, besonders bei sehr schwierigen oder fachspezifischen Themen. Sie ist wie ein sehr fleißiger Praktikant, der die grobe Arbeit macht, während der erfahrene Chef (der Mensch) die Feinheiten prüft.

Kurz gesagt: Die KI kann den "Schiedsrichter" spielen, aber wir müssen ihr die Spielregeln so einfach und klar wie möglich erklären, damit sie nicht den Ball verliert.

Technische Zusammenfassung

1. Problemstellung

Die Bewertung von Kollaborativem Problemlösen (CPS – Collaborative Problem Solving) ist eine Schlüsselkompetenz des 21. Jahrhunderts, deren Erfassung jedoch stark von der manuellen Kodierung von Kommunikationsdaten (z. B. Chat-Transkripte) abhängt. Dieser manuelle Prozess ist extrem zeit- und kostenintensiv, was die Skalierbarkeit von CPS-Assessments erheblich einschränkt.
Während traditionelle automatisierte Methoden auf überwachtes maschinelles Lernen angewiesen sind, das große Mengen an manuell kodierten Trainingsdaten erfordert, bieten Large Language Models (LLMs) wie ChatGPT die Möglichkeit, Kodierungsaufgaben direkt durch Prompting (Zero-Shot oder Few-Shot) ohne umfangreiche manuelle Vorarbeit zu lösen. Die zentrale Forschungsfrage ist jedoch, ob ChatGPT in der Lage ist, die komplexe, kontextabhängige Kommunikation in CPS-Aufgaben mit der gleichen Zuverlässigkeit wie menschliche Gutachter zu kodieren, und welche Faktoren (Modelltyp, Aufgabenart, Kodierungsrahmen) die Leistung beeinflussen.

2. Methodik

Die Studie ist als empirische Untersuchung konzipiert und adressiert vier Forschungsfragen (RQs) durch folgende Methodik:

• Datengrundlage: Es wurden Daten aus fünf verschiedenen CPS-Aufgaben verwendet:
  • Zwei naturwissenschaftliche Aufgaben (Condensation und Volcano), bei denen Paare über Text chatten, um wissenschaftliche Konzepte zu lösen.
  • Drei Aufgaben zu allgemeinen kognitiven Fähigkeiten (Negotiation, Decision-Making, Letter-to-Number), bei denen Vierer-Teams zusammenarbeiten.
  • Insgesamt ca. 1.500 Chat-Umdrehungen pro Aufgabe, zufällig aus größeren Datensätzen entnommen.
• Kodierungsrahmen (Frameworks): Zwei unterschiedliche Rahmenwerke wurden angewendet:
  • Framework 1: Theoretisch abgeleitet (basierend auf CSCL-Forschung und PISA 2015), mit 4 Kategorien (Ideen teilen, verhandeln, Problemlösen regulieren, Kommunikation aufrechterhalten).
  • Framework 2: Datengetrieben und empirisch fundiert (Kyllonen et al., 2023), mit 5 Kategorien (Kommunikation aufrechterhalten, im Thema bleiben, Informationen einholen, Informationen teilen, Anerkennen).
• LLMs: Vier Modelle wurden verglichen: GPT-4, GPT-4o, GPT-o1-mini und GPT-o3-mini. Alle Modelle wurden mit Temperatur 0 und festem Seed ausgeführt, um Konsistenz zu gewährleisten.
• Prompt-Engineering: Die Prompts enthielten Aufgabenstellung, Definition des Frameworks, ca. 10 Expertenbeispiele pro Kategorie und Formatierungsanweisungen.
• Auswertung: Die Leistung wurde mittels Cohen's Kappa gemessen, um die Übereinstimmung zwischen den LLMs und menschlichen Experten-Gutachtern zu quantifizieren.
• Iterative Verbesserung: Für RQ4 wurde eine Feedback-Schleife implementiert: Häufige Fehlklassifikationen wurden identifiziert, in den Prompt integriert und die Kodierung erneut durchgeführt, um zu prüfen, ob die Genauigkeit steigt.

3. Wichtige Beiträge und Ergebnisse

A. Modellvergleich (RQ1):

• GPT-4o erzielte die insgesamt beste Leistung.
• Überraschenderweise schnitten die neueren, auf „Reasoning" spezialisierten Modelle (GPT-o1-mini und GPT-o3-mini) nicht besser ab als GPT-4o. Dies deutet darauf hin, dass zusätzliche Rechenkapazität für logisches Denken nicht automatisch zu einer besseren Klassifizierung von Kommunikationsdaten führt.

B. Einfluss der Aufgabenart (RQ2):

• Die Leistung variierte stark je nach Aufgabe.
• Bei den drei Aufgaben mit Framework 2 (Negotiation, Decision-Making, Letter-to-Number) erreichten die LLMs eine Übereinstimmung, die der zwischenmenschlichen Übereinstimmung (Human-Human) entsprach oder diese sogar übertraf.
• Bei den zwei naturwissenschaftlichen Aufgaben mit Framework 1 (Condensation, Volcano) war die Übereinstimmung zwischen LLM und Mensch deutlich niedriger als zwischen zwei menschlichen Gutachtern.
• Die Analyse zeigte, dass fachspezifische wissenschaftliche Terminologie die Leistung zwar verschlechtert, aber nicht den gesamten Leistungsunterschied erklärt. Der Hauptfaktor lag im Kodierungsrahmen selbst.

C. Einfluss des Kodierungsrahmens (RQ3):

• Dies ist ein zentrales Ergebnis: Framework 2 (empirisch fundiert, klarer strukturiert) wurde von den LLMs deutlich besser verstanden und angewendet als Framework 1 (stark theoretisch abstrahiert).
• Die Komplexität und das Design des Kodierungsrahmens sind entscheidender für die LLM-Leistung als die spezifischen Inhalte der Aufgaben.

D. Prompt-Optimierung durch Feedback (RQ4):

• Die Strategie, Fehlklassifikationen in den Prompt aufzunehmen, zeigte gemischte Ergebnisse:
  • Bei der Condensation-Aufgabe führte die Optimierung nicht zu einer Gesamtverbesserung (Kappa blieb gleich oder sank leicht), da Verbesserungen in einer Kategorie durch neue Fehler in anderen ausgeglichen wurden.
  • Bei der Volcano-Aufgabe führte die Optimierung zu einer messbaren Steigerung des Kappa-Werts (von 0,604 auf 0,637), blieb aber dennoch unter dem Niveau der menschlichen Übereinstimmung.

4. Signifikanz und Implikationen

• Skalierbarkeit: Die Studie liefert den empirischen Nachweis, dass ChatGPT eine praktikable, kosteneffiziente und skalierbare Alternative zur manuellen Kodierung von CPS-Kommunikationsdaten darstellt, insbesondere wenn der Kodierungsrahmen klar und datengetrieben ist.
• Modellauswahl: Es ist nicht notwendig, die teuersten oder neuesten „Reasoning"-Modelle einzusetzen. GPT-4o bietet das beste Verhältnis von Leistung zu Kosten für diese spezifische Aufgabe.
• Rahmenwerk-Design: Für die Automatisierung durch KI müssen Kodierungsrahmen so gestaltet sein, dass sie für LLMs interpretierbar sind (weniger abstrakt-theoretisch, mehr empirisch-beispielbasiert).
• Limitationen und Ethik:
  • LLMs sind nicht vollständig deterministisch (selbst bei Temperatur 0).
  • Es bestehen Bedenken hinsichtlich Fairness und Verzerrungen (Bias) gegenüber bestimmten demografischen Gruppen, da Kommunikationsstile variieren können.
  • Derzeit sollte ChatGPT als Ergänzung und nicht als vollständiger Ersatz für menschliche Gutachter betrachtet werden, da die Validitätsstandards noch nicht vollständig erreicht sind.

Fazit: Die Forschung zeigt, dass die Automatisierung von CPS-Assessments durch LLMs unter den richtigen Bedingungen (passendes Framework, geeignetes Modell) erfolgreich ist, aber keine universelle Lösung für alle Aufgaben und Rahmenwerke darstellt. Die Qualität des Kodierungsrahmens ist der kritischste Erfolgsfaktor.