Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

Stellen Sie sich vor, Sie versuchen, eine geheime Sprache zu entschlüsseln, die in einem Klassenzimmer gesprochen wird. Lehrer und Schüler führen ein tiefgründiges, komplexes Gespräch, und Ihre Aufgabe ist es, jeden einzelnen Satz in spezifische Kategorien wie „Begründung“, „Einladung zum Nachdenken“ oder „Zustimmung“ zu sortieren. Dies von Hand zu tun, ist so, als würde man versuchen, aus einem Feuerwehrschlauch zu trinken: Es ist erschöpfend, dauert ewig und das Gehirn wird müde.

Hier kommt der Customised GPT Coding Assistant (CGCA) ins Spiel. Betrachten Sie diese KI nicht als einen magischen Roboter, der alles weiß, sondern als einen sehr klugen, sehr schnellen Praktikanten, dem ein spezifisches Regelwerk (das Cambridge Dialogue Analysis Scheme) und ein paar Beispielsätze zum Studium gegeben wurden. Die Forscher der Universität Cambridge wollten herausfinden: Können wir diesen Praktikanten trainieren, die schwere Arbeit zu erledigen? Und wie arbeiten wir zusammen, ohne dass der Praktant das Kommando übernimmt oder der Mensch genervt ist?

Hier ist das, was sie herausgefunden haben, serviert mit ein paar Metaphern, um die Sache klar zu halten.

1. Der „Praktikant“ braucht die richtigen Anweisungen (Prompt Engineering)

Zuerst überreichten die Forscher der KI einfach das gesamte Regelwerk und sagten: „Leg los!“ Das Ergebnis? Die KI war verwirrt. Es war, als würde man einem neuen Mitarbeiter ein 500-seitiges Handbuch übergeben und erwarten, dass er am ersten Tag genau weiß, was zu tun ist. Die Genauigkeit der KI war niedrig, teilweise nur bei 6,7 % für bestimmte Kategorien.

Die Forscher erkannten, dass die KI ein „Gehirn“ hat, das anders funktioniert als das eines Menschen. Sie wird überfordert, wenn man ihr auf einmal zu viel Text gibt. Also begannen sie mit Prompt Engineering. Das ist so, als würde man die Anweisungen für den Praktikanten umschreiben. Anstatt eines riesigen Textblocks:

• Brachen sie die Regeln in einen „Entscheidungsbaum“ auf (Wenn X passiert, dann tue Y).
• Gaben der KI weniger, aber bessere Beispiele (etwa 5–15 sorgfältig ausgewählte statt Hunderte).
• Machten die Anweisungen schrittweise.

Das Ergebnis: Nach diesen Anpassungen sprang die Genauigkeit der KI auf 64,9 %. Das ist nicht perfekt (Menschen stimmen untereinander meist zu 70–75 % überein), aber gut genug, um ein hilfreicher Begleiter zu sein. Das Paper legt nahe, dass das bloße Kopieren eines menschlichen Trainingshandbuchs in einen Computer-Prompt nicht funktioniert; man muss die Anweisungen umstrukturieren, damit sie zur Art und Weise passen, wie die KI denkt.

2. Wer geht voran? Der Tanz zwischen „Mensch zuerst“ und „KI zuerst“

Die Forscher testeten zwei Wege, mit diesem KI-Praktikanten zusammenzuarbeiten. Sie ließen sechs Bildungsforscher (einige Neulinge im Kodieren, andere Experten) beide Methoden an 55 Gesprächssequenzen aus dem Unterricht ausprobieren.

• Bedingung A (Mensch zuerst): Der Mensch kodiert den Satz zuerst und fragt dann die KI: „Was denkst du?“
• Bedingung B (KI zuerst): Der Mensch fragt die KI zuerst: „Was denkst du?“ und entscheidet dann selbst, ob er zustimmt.

Die Ergebnisse:
Wenn der Mensch zuerst vorging, lag die Übereinstimmung zwischen dem Menschen und dem „Goldstandard“ (dem ursprünglichen Experten-Coder) bei etwa 0,40 (ein Maß dafür, wie gut sie übereinstimmten).
Wenn die KI zuerst vorging, stieg dieser Wert leicht auf 0,45.
Hinweis: Das Paper stellt fest, dass dieser Unterschied klein ist und statistisch nicht „bewiesen“ ein großer Sieg ist, da die Gruppe so klein war, aber der Trend deutet darauf hin, dass der Beginn mit der KI helfen könnte, die Regeln besser einzuhalten.

Außerdem arbeiteten die Menschen in der „KI-Zuerst“-Gruppe schneller. Die Forscher bemerkten jedoch etwas Tricky: In der „KI-Zuerst“-Gruppe hatten einige das Gefühl, lediglich die Arbeit der KI zu kontrollieren, während sie in der „Mensch-Zuerst“-Gruppe das Gefühl hatten, von der KI kontrolliert zu werden.

3. Die Geheimzutat: Wie man die KI behandelt

Dies ist der interessanteste Teil. Die Forscher fanden heraus, dass es für den Menschen wichtiger war, wie er sich über die KI fühlte, als die Reihenfolge der Abläufe. Sie identifizierten zwei deutliche „Persönlichkeiten“ in der Arbeitsweise der Coder:

Der dialogische Partner (Die Kollaborateure)
Etwa die Hälfte des Teams (Teilnehmer C, D und E) behandelte die KI wie einen kritischen Freund oder einen Debattenpartner.

• Die Metapote: Stellen Sie sich vor, Sie spielen Tennis mit einem Partner, der den Ball zu Ihnen zurückspielt, damit Sie ihn noch härter schlagen können. Sie vertrauten der KI nicht blind, aber sie nutzten ihre Vorschläge, um ihr eigenes Denken zu testen. „Hm, die KI sagt, das ist ‚Begründung‘. Warum? Oh, ich sehe es, wegen des Wortes ‚weil‘. Okay, ich stimme zu.“
• Das Ergebnis: Selbst obwohl einige dieser Leute Anfänger im Kodieren waren, verbesserten sie sich am meisten. Sie betrachteten die KI als ein Werkzeug, das ihnen hilft, zu lernen und ihre Entscheidungen zu verfeinern.

Der aufsichtsführende Wächter (Die Skeptiker)
Die andere Hälfte (Teilnehmer A, B und F) behandelte die KI wie einen Verdächtigen oder eine Maschine, die ständig kontrolliert werden muss.

• Die Metapher: Stellen Sie sich einen Sicherheitsmann vor, der glaubt, die Kamera sei defekt, und ständig versucht, sie zu widerlegen. Sie sagten Dinge wie: „Ich überprüfe gerade ChatGPT“ oder „Ich glaube nicht, dass es ein Kollege ist“. Sie hielten Distanz und weigerten sich, ein „Gespräch“ mit dem Werkzeug zu führen.
• Das Ergebnis: Diese Menschen verbesserten sich nicht so sehr. Ihre Kodiergenauigkeit blieb niedriger, und sie verbrachten weniger Zeit damit, sich mit der Logik der KI auseinanderzusetzen. Sie waren so sehr darauf konzentriert, die KI zu verifizieren, dass sie die Chance verpassten, zu kollaborieren.

4. Was das Paper ausschließt

Es ist wichtig zu wissen, was diese Studie nicht belegt:

• Es ist KEINE magische Lösung: Man kann nicht einfach einen riesigen Haufen Daten und ein Standard-Regelwerk in eine KI werfen und perfekte Ergebnisse erwarten. Das Paper argumentiert explizit, dass „das direkte Übertragen eines menschlichen Trainings-Codebooks in einen Prompt unzureichend ist.“
• Es ist KEIN Ersatz für Können: Die Studie behauptet nicht, dass die KI Menschen sofort zu Experten macht. Tatsächlich begann eine Teilnehmerin (Teilnehmerin E) damit, der KI aus mangelndem Selbstvertrauen zu folgen, lernte aber erst später, die Arbeit der KI kritisch zu beurteilen. Das Paper deutet an, dass dies eher ein vorüberhafter Vertrauensschub sein könnte und nicht unbedingt ein dauerhafter Sprung in der unabhängigen Fertigkeit.
• Es ist KEINE „Einheitslösung“: Das Paper argumentt, dass es keinen einzigen perfekten Weg gibt, die KI zu nutzen. Was für einen „dialogischen“ Partner funktioniert, funktioniert vielleicht nicht für einen „aufsichtsführenden“ Wächter.

5. Wie sicher sind wir?

Die Forscher sind vorsichtig mit ihren Formulierungen. Sie sagen, dass ihre Ergebnisse nahelegen, dass ein „dialogischer“ Ansatz (die KI als Partner zu behandeln) zu besseren Ergebnissen führt. Sie deuten an, dass der Beginn mit der KI (KI-Zuerst) helfen könnte, die Konsistenz zu erhöhen.

• Das Konfidenzniveau: Die Studie ist eine „kleine Untersuchung“ mit nur sechs Personen. Die Autoren geben zu, dass sie aufgrund der kleinen Gruppe nicht mit Sicherheit sagen können, dass die „KI-Zuerst“-Methode definitiv besser ist; sie können nur sagen, dass die Zahlen in diese Richtung tendenzierten.
• Die Genauigkeit: Die KI erreichte eine Präzision von 64,9 %. Das Paper stellt fest, dass dies dem menschlichen Übereinstimmungsniveau von 70–75 % „nahekommt“, aber es noch nicht erreicht hat. Es ist ein „strukturiertes Entscheidungsunterstützungswerkzeug“, kein finaler Lösungsschlüssel.

Das große Ganze

Diese Studie zeichnet das Bild der Mensch-KI-Kollaboration nicht als einfaches „Mensch gegen Maschine“ oder „Maschine erledigt die Arbeit“-Szenario. Stattdessen ist es ein dynamischer Tanz.

Der Erfolg des Tanzes hängt von drei Dingen ab, die zusammenwirken:

1. Die Schritte (Das KI-Design): Die Anweisungen müssen einfach, schrittweise und auf das Gehirn der KI zugeschnitten sein (wie ein Entscheidungsbaum).
2. Die Musik (Der Kontext): Die Reihenfolge der Abläufe (wer zuerst geht) verändert den Rhythmus.
3. Die Einstellung des Tänzers (Der Mensch): Wenn man die KI als Partner betrachtet, von dem man lernen kann, tanzt man besser. Wenn man sie als Feind betrachtet, den man kontrollieren muss, stolpert man.

Das Paper kommt zu dem Schluss, dass KI in der Forschung ein soziotechnischer Prozess ist. Es geht nicht nur um den Code; es geht darum, wie der Mensch fühlt, denkt und mit dem Werkzeug interagiert. Für einen neugierigen Teenager ist die Lehre: Das Werkzeug ist nur so gut wie die Beziehung, die man zu ihm aufbaut. Wenn man es wie einen klugen Teamkollegen behandelt, hilft es einem beim Wachsen. Wenn man es wie einen verdächtigen Fremden behandelt, sitzt es nur da und wartet darauf, überprüft zu werden.