🤖 AI

LLM-assisted sentiment analysis for integrated computational and qualitative mixed methods education research: A case study of students' written reflection assignments

Diese Studie stellt eine Mixed-Methods-Fallstudie vor, die zeigt, wie eine von großen Sprachmodellen unterstützte Sentiment-Analyse von Studierenden-Reflexionen effizient die Auswirkungen mehrerer demografischer Variablen auf Auslandsstudien-Erfahrungen identifizieren und erklären kann, wobei sich insbesondere zeigt, dass frühere Auslandsaufenthalte die Gefühle der Studierenden in Bezug auf Sprache und Kommunikation einzigartig beeinflussen.

Ursprüngliche Autoren: Xiomara Gonzalez, Gabriella Coloyan Fleming, Andrew Katz, Maya Denton, Jessica Deters

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiomara Gonzalez, Gabriella Coloyan Fleming, Andrew Katz, Maya Denton, Jessica Deters

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die versucht zu verstehen, wie sich 51 Schüler über ihren einmonatigen Aufenthalt in Japan gefühlt haben. Sie haben 151 handschriftliche Tagebücher voller ihrer Gedanken, Sorgen und „Aha!"-Momente. Jedes einzelne Wort zu lesen, um Muster zu finden, ist wie der Versuch, aus einem Feuerlöschschlauch zu trinken: Es ist überwältigend, zeitaufwendig, und Sie könnten die subtilen Strömungen im Wasser übersehen.

Dieser Artikel handelt davon, einen intelligenten digitalen Assistenten zu entwickeln, der Forschern hilft, aus diesem Feuerlöschschlauch zu trinken, ohne zu ertrinken.

Das Problem: Die „Nadel im Heuhaufen"

Die Forscher wollten wissen: Fühlen sich Schüler beim Kommunizieren in einer Fremdsprache je nach ihrer Identität unterschiedlich? (Beispiel: Verändert die Tatsache, dass man bereits im Ausland gelebt hat, Ihre Gefühle gegenüber der Sprachbarriere?)

Traditionell müsste ein menschlicher Forscher jedes Tagebuch lesen, die relevanten Teile markieren, die „Stimmung" erraten (positiv, negativ oder neutral) und dann versuchen, die Ergebnisse zu zählen. Dies für mehrere Schülergruppen durchzuführen, ist wie der Versuch, einen riesigen Haufen durcheinandergeratener Lego-Steine ausschließlich von Hand nach Farbe und Größe zu sortieren. Es dauert ewig, und Sie könnten müde werden und Fehler machen.

Die Lösung: Der „Sentiment-Detektiv"-Roboter

Die Forscher führten ein Large Language Model (LLM) – eine Art fortschrittliche KI – als Co-Investigator ein. Betrachten Sie die KI nicht als Ersatz für den Menschen, sondern als einen super-schnellen, unermüdlichen Praktikanten, der Tausende von Seiten in Sekunden lesen kann.

So haben sie diesen „digitalen Praktikanten" eingesetzt:

Der Mensch setzt die Regeln: Der menschliche Forscher las zunächst die Tagebücher und extrahierte die spezifischen Sätze über Sprechen und Kommunikation.
Die KI leistet die Schwerstarbeit: Sie fütterten diese Sätze mit der KI (speziell einem Open-Source-Modell namens Llama3) und baten sie, jeden Satz als Glücklich (Positiv), Traurig/Ängstlich (Negativ) oder Nur Faktisch (Neutral) zu kennzeichnen.
Der Mensch überprüft: Die KI ist nicht perfekt. Manchmal gerät sie in Verwirrung, wie ein Schüler, der eine neutrale Aussage für eine Meinung hält. Der menschliche Forscher überprüfte die Arbeit der KI und korrigierte die Fehler. Das ist wie eine Lehrkraft, die die Hausaufgaben des Praktikanten korrigiert, um sicherzustellen, dass die Logik stimmt.

Die Ergebnisse: Was der „Feuerlöschschlauch" enthüllte

Sobald die KI bei der Sortierung der Daten half, konnten die Forscher endlich Muster erkennen, die zu klein waren, um sie mit bloßem Auge zu sehen. Sie untersuchten sieben verschiedene Schüleridentitäten (wie Geschlecht, Einkommen oder Erstakademiker-Status), um zu sehen, ob eine davon beeinflusste, wie sich Schüler über Kommunikation fühlten.

Die große Entdeckung:
Von all den verschiedenen Hintergründen, die sie prüften, machte nur eines einen Unterschied: Hatte der Schüler bereits im Ausland gelebt?

Die „Veteranen" (Schüler, die bereits im Ausland gelebt hatten):
- Am Anfang: Sie waren tatsächlich nervöser als die anderen. Sie wussten, dass die Sprachbarriere real war, und machten sich Sorgen, Fehler zu machen oder andere zu verletzen.
- Am Ende: Sie erkannten, dass ihre Ängste berechtigt, aber handhabbar waren. Sie sahen Kommunikationshilfen (wie Übersetzungs-Apps) als „Notlösung", wenn sie feststeckten.
Die „Neulinge" (Schüler, die noch nie im Ausland gelebt hatten):
- Am Anfang: Sie waren optimistisch, hatten aber unrealistische Erwartungen. Sie dachten, es würde leicht sein oder dass alle Englisch sprächen.
- In der Mitte: Sie stießen auf eine Wand. Sie waren frustriert, weil ihre Vorbereitung nicht funktionierte, und fühlten sich unvorbereitet.
- Am Ende: Sie erlebten eine große Wende. Sie wandelten sich von frustriert zu zuversichtlich. Sie erkannten, dass das Ringen Teil des Lernprozesses ist, und begannen, Übersetzungs-Apps als hilfreiche Werkzeuge statt als Krücken zu sehen.

Das Fazit: Eine neue Art zu kochen

Der Artikel argumentiert, dass dieses „Mensch + KI"-Team eine kraftvolle neue Methode zur Forschung ist.

Die KI ist der Mixer: Sie verarbeitet die Rohdaten schnell und konsistent.
Der Mensch ist der Koch: Er entscheidet, welche Zutaten verwendet werden, probiert das Gericht und korrigiert die Würze, wenn die KI zu viel Salz hinzufügt.

Die Forscher stellten fest, dass die KI zwar schnell und größtenteils genau war (sie stimmte in etwa 60–67 % der Fälle mit Menschen überein, was in diesem Bereich als „substantiell" gilt), aber dennoch einen Menschen benötigte, um ihr Chaos aufzuräumen. Die KI wurde manchmal schwatzhaft oder klassifizierte Dinge falsch, sodass der Mensch die abschließende „Nachbearbeitung" vornehmen musste.

Kurz gesagt: Diese Studie zeigt, dass menschliche Forscher, indem sie einer KI das langweilige, repetitive Zählen von Emotionen überlassen, ihre Zeit damit verbringen können, die Geschichte hinter den Zahlen zu verstehen. In diesem speziellen Fall war die Geschichte, dass frühere Reiseerfahrung beeinflusst, wie Sie den Schock einer neuen Sprache bewältigen, und verwandelt ein beängstigendes Hindernis in eine Lerngelegenheit.

Technische Zusammenfassung: LLM-gestützte Sentiment-Analyse für integrierte computergestützte und qualitative Mixed-Methods-Forschung in der Bildung

Problemstellung

Schriftliche Reflexionsaufgaben sind ein wichtiges pädagogisches Instrument in der Ingenieurausbildung, das Studierenden Möglichkeiten zur kritischen Selbstbewertung bietet und Forschern reichhaltige qualitative Daten liefert. Die Analyse dieser qualitativen Datensätze ist jedoch traditionell zeitaufwendig, insbesondere beim Versuch, Befunde über mehrere demografische Variablen hinweg zu vergleichen (z. B. Geschlecht, Einkommen, frühere Reiseerfahrung). Herkömmliche qualitative Analysen beschränken Vergleiche aufgrund des Arbeitsaufwands oft auf eine einzige Variable. Zwar haben sich Large Language Models (LLMs) als potenzielle Forschungsassistenten für Sentiment-Analysen und Kodierung etabliert, doch ihre Integration in rigorose, longitudinale Mixed-Methods-Arbeitsabläufe – speziell für sensible Studentendaten – bleibt wenig erforscht. Es besteht die Notwendigkeit zu ermitteln, wie LLMs menschliche Forscher effektiv bei der Identifizierung von Sentiment-Trends über mehrere Identitätsvariablen hinweg unterstützen können, ohne die Datenschutz oder die analytische Strenge zu beeinträchtigen.

Methodik

Die Studie verwendet ein „quasi-konvergent paralleles" Mixed-Methods-Design, das sowohl quantitative als auch qualitative Analysen auf denselben qualitativen Datensatz (Studentenreflexionen) anwendet. Die Forschung nutzt eine longitudinale Fallstudie mit 51 Studierenden der Ingenieurwissenschaften, die an einem einmonatigen Auslandsstudienprogramm in Japan teilnahmen.

Datenerhebung:

Datensatz: 151 schriftliche Reflexionen, die zu drei Zeitpunkten (Beginn, Mitte und Ende des Programms) gesammelt wurden.
Fokus: Es wurden spezifisch Antworten extrahiert, die verbale Sprache und Kommunikationsverhalten betreffen.
Variablen: Sieben Variablen zur studentischen Identität und Lebenserfahrung wurden analysiert: frühere Erfahrung mit dem Leben im Ausland, Fremdsprachenkenntnisse, im Ausland geborene Eltern, Status als einkommensschwach, Erstakademiker-Status beim Collegebesuch, Status als Erstamerikaner und Identität als Asiat/asiatisch-amerikanisch.

Analyse-Pipeline (sechs Stufen):

Datenverarbeitung und Vertrautheit: Menschliche Forscher lasen alle Reflexionen und verfassten analytische Memos.
Manuelle Zitat-Extraktion: Forscher isolierten manuell Zitate, die sich auf verbale Sprache und Kommunikation bezogen.
Hybride Sentiment-Beschriftung:
- Mensch: Ein Forscher vergab initiale Sentiment-Tags (Positiv, Negativ, Neutral).
- LLM: Ein Open-Source-LLM (MetaAI's Llama3, 8 Milliarden Parameter) wurde angewiesen, Sentiment-Tags denselben Zitaten zuzuweisen. Das Modell wurde lokal über Ollama ausgeführt, um Datenschutz und ethische Konformität zu gewährleisten, da die Teilnehmer nicht der Weitergabe von Daten an Dritte zugestimmt hatten.
- Auflösung von Diskrepanzen: Der menschliche Forscher überprüfte die LLM-Ausgaben. Diskrepanzen wurden diskutiert, und menschliche Tags wurden revidiert, wenn die ursprüngliche Interpretation als ungenau erachtet wurde. Das LLM wurde nicht erneut angewiesen.
- Zuverlässigkeit: Die Inter-Rater-Reliabilität wurde mittels Cohens Kappa ( $\kappa$ ) gemessen.
Qualitative Analyse: Induktive thematische Kodierung wurde an den Zitaten durchgeführt, um Hauptthemen zu identifizieren (z. B. frühere Erfahrungen, Vorbereitung, Sprachdynamiken, wahrgenommene Ergebnisse).
Quantitative Analyse: Statistische Tests (Student-t-Test oder Wilcoxon-Rangsummentest, je nach Normalverteilung) wurden durchgeführt, um Sentiment-Zählungen über die sieben Identitätsvariablen hinweg zu vergleichen. Effektstärken (Cohens $d$ oder Glass-Rang-biserial-Korrelation) wurden berechnet.
Interpretation: Qualitative Befunde wurden im Kontext statistisch signifikanter quantitativer Ergebnisse interpretiert.

Hauptergebnisse

1. LLM-Leistung und Arbeitsablauf (Forschungsfrage 1):

Effizienz: Das LLM verarbeitete Zitate signifikant schneller als der menschliche Forscher (ca. 2–3 Zitate pro menschlicher Beschriftungszeit).
Zuverlässigkeit: Die Inter-Rater-Reliabilität zwischen dem menschlichen Kodierer und Llama3 war über alle Zeitpunkte hinweg „substantiell" ( $\kappa = 0,52$ für Reflexion 1; $\kappa = 0,64$ für Reflexion 3; $\kappa = 0,67$ für Reflexion 4).
Kooperationswert: Diskrepanzen zwischen menschlichen und LLM-Tags waren nicht zufällig. Das LLM ordnete Aussagen, die der menschliche Kodierer als neutral/deskriptiv betrachtete, häufig affektive Tags (positiv/negativ) zu. Diese Abweichungen führten zu tiefergehenden reflexiven Diskussionen und zur Verfeinerung der Kodierkriterien und fungierten als „zweiter Kodierer", der das interpretative Engagement vertiefte.
Einschränkungen: Der Arbeitsablauf erforderte einen erheblichen technischen Vorlauf (Python-Skripting) und iterative Prompt-Engineering. Das LLM generierte gelegentlich überflüssigen Text oder beschriftete Prompt-Anweisungen falsch, was eine menschliche Nachbearbeitung erforderlich machte.

2. Fallstudie-Ergebnisse (Forschungsfrage 2):

Signifikante Variable: Unter den sieben getesteten Identitätsvariablen war frühere Erfahrung mit dem Leben im Ausland der einzige Faktor, der über alle Zeitpunkte hinweg statistisch signifikante Unterschiede in der Sentiment-Äußerung aufwies.
Longitudinale Trends:
- Studierende mit früherer Erfahrung im Ausland (LA): Äußerten in Reflexion 1 (Beginn) im Vergleich zu denen ohne solche Erfahrung stärkere negative Sentimente bezüglich der Kommunikation. Sie hatten Schwierigkeiten, ihre früheren Sprachkenntnisse im japanischen Kontext zu nutzen, und fühlten sich angesichts potenzieller Missverständnisse beunruhigt. Bis Reflexion 4 blieben ihre Sentimente relativ stabil, verschoben sich jedoch hin zur Betrachtung von Kommunikationshilfen als „letzten Ausweg".
- Studierende ohne frühere Erfahrung im Ausland (Nicht-LA): Äußerten in der Mitte des Programms (Reflexion 3) im Vergleich zu LA-Studierenden stärkere negative Sentimente, getrieben durch nicht übereinstimmende Erwartungen an die Leichtigkeit der Bewältigung von Sprachbarrieren und Frustration über Vorbereitungsanstrengungen. Bis Reflexion 4 zeigte diese Gruppe jedoch eine signifikante Verschiebung hin zu positiven Sentimenten, drückten ein gestärktes Selbstvertrauen aus und umdeuteten Kommunikationsherausforderungen als wertvolle Lerngelegenheiten.

Bedeutung und Behauptungen

Die Studie behauptet, dass dieser Arbeitsablauf eine praktikable Methode für qualitative Forscher bietet, um gleichzeitig mehrere demografische Variablen zu untersuchen, eine Aufgabe, die oft durch die zeitlichen Einschränkungen traditioneller Analysen begrenzt ist.

Methodologischer Beitrag: Die Studie zeigt, dass LLMs als effektive Kooperationspartner in der qualitativen Forschung dienen können, speziell für die Sentiment-Beschriftung, sofern sie in einer „Human-in-the-Loop"-Kapazität eingesetzt werden. Die Verwendung von Open-Source-Modellen, die lokal ausgeführt werden, adressiert kritische ethische Bedenken hinsichtlich Datenschutz und Teilnehmerzustimmung.
Pädagogische Einsicht: Die Ergebnisse unterstreichen, dass frühere internationale Erfahrung maßgeblich prägt, wie Studierende Kommunikationsbarrieren während des Auslandsstudiums wahrnehmen und bewältigen. Studierende ohne solche Erfahrung durchlaufen eine distincte emotionale Entwicklung, die von Frustration zu Wachstum führt, während erfahrene Studierende mit anderen Herausforderungen konfrontiert sind, die sich auf die Anwendbarkeit ihrer bestehenden Fähigkeiten beziehen.
Praktische Implikation: Die Studie legt nahe, dass Pädagogen und Administratoren diese Erkenntnisse nutzen können, um die Unterstützung vor der Abreise anzupassen: Studierende mit früherer Erfahrung sollten ermutigt werden, über die übertragbarkeit von Fähigkeiten zwischen Kulturen nachzudenken, während Studierenden ohne solche Erfahrung geholfen werden sollte, Erwartungen zu managen und sich auf praktische Kommunikationsstrategien statt nur auf Vokabular zu konzentrieren.

Die Autoren nehmen eine bescheidene Haltung ein und räumen ein, dass die beobachteten Effektstärken klein bis mittel waren, was die Generalisierbarkeit auf andere Kontexte (z. B. längere Programme oder sprachimmersionspezifische Programme) einschränkt. Sie betonen, dass LLMs die qualitative Analyse nicht ersetzen, aber die Identifizierung von Trends beschleunigen können, um tiefere menschliche Interpretationen zu leiten.