AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation
Diese Studie evaluiert die Effektivität verschiedener Large Language Models und Prompting-Strategien für die Kodierung deutscher offener Umfrageantworten zur Partizipationsmotivation und stellt fest, dass die Leistung zwar zwischen den Modellen erheblich variiert, jedoch nur feinabgestimmte LLMs eine zufriedenstellende Genauigkeit erreichen, die mit der von menschlichen Experten vergleichbar ist, was kritische Abwägungen für Forscher verdeutlicht, die automatisierte Kodierungsmethoden anwenden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine riesige Kiste mit 5.000 handschriftlichen Notizen von Menschen, die erklären, warum sie an einer Umfrage teilgenommen haben. Einige sagen: „Ich liebe Geld“, andere: „Ich bin neugierig“ und einige kritzeln einfach nur „???“ oder „Ich weiß nicht“. Ihre Aufgabe ist es, diese Notizen in 22 verschiedene Ordner zu sortieren. Das von Hand zu machen, ist so, als würde man versuchen, einen Haufen Sand Korn für Korn zu sortieren: Es dauert ewig, kostet viel Geld und man wird müde und macht vielleicht Fehler.
Dieses Papier stellt eine einfache Frage: Kann ein superintelligenter Computer-Roboter (ein Large Language Model, oder LLM) diese Sortieraufgabe für uns übernehmen?
Die Forscher haben drei verschiedene „Roboter“ (GPT-4o, Llama und Mistral) an deutschen Umfrage-Notizen getestet, um zu sehen, wie gut sie als Sortierer fungieren können. Hier ist das Ergebnis, unter Verwendung einiger alltäglicher Vergleiche:
1. Die Roboter sind nicht alle gleich geschaffen
Man kann sich die drei Roboter wie verschiedene Arten von Autos vorstellen:
- GPT-4o ist wie ein Luxus-Sportwagen. Er ist teuer zu mieten (man zahlt pro Wort), aber er fährt geschmeidig, meistert komplexe Kurven gut und bringt Sie zuverlässig ans Ziel.
- Llama und Mistral sind wie preiswerte Kompaktwagen. Wenn man die Garage selbst besitzt (man lässt sie auf dem eigenen Computer laufen), fährt man sie kostenlos, aber sie haben auf unebenem Gelände etwas mehr zu kämpfen. Sie brauchen viel mehr Hilfe vom Fahrer, um die Arbeit richtig zu erledigen.
Das Ergebnis: Das Luxusauto (GPT) hat die Notizen viel besser sortiert als die Budgetautos, selbst als den Budgetautos zusätzliche Anweisungen gegeben wurden.
2. Die „Bedienungsanleitung“ ist entscheidend (Prompting)
Die Forscher haben verschiedene Arten von Anweisungen ausprobiiert, was so ist, als würde man einem neuen Mitarbeiter eine Stellenbeschreibung geben:
- Zero-Shot (Der „Mach es einfach“-Ansatz): Sie sagen dem Roboter: „Hier sind die Ordner, sortiere diese Notizen.“ Keine Beispiele.
- Ergebnis: Die Budgetautos waren sehr verwirrt. Das Luxusauto war okay, aber nicht perfekt.
- Few-Shot (Der „Zeig mir ein Beispiel“-Ansatz): Sie sagen: „Hier sind die Ordner, und hier sind drei Beispiele für Notizen, die in jeden Ordner gehören.“
- Ergebnis: Dies half den Budgetautos erheblich. Sie wurden beim Sortieren viel besser. Auch das Luxusauto verbesserte sich, war aber bereits ziemlich gut.
- Fine-Tuning (Der „Praktikanten“-Ansatz): Sie nehmen einen Stapel Notizen, die Menschen bereits korrekt sortiert haben, und lassen den Roboter diese eine Zeit lang studieren, bevor Sie ihn bitten, den Rest zu sortieren.
- Ergebnis: Dies war das Wundermittel. Als das Luxusauto (GPT) dieses „Praktikum“ absolvierte, wurde es fast so gut wie ein menschlicher Experte. Es sortierte die Notizen perfekt, selbst die schwierigen.
3. Das „Mülleimer“-Problem
Eine der größten Herausforderungen war das Sortieren von Notizen, die eigentlich gar nichts aussagen, wie „???“, „Ich weiß nicht“ oder leere Felder.
- Das menschliche Problem: Menschen sind gut darin, zu erkennen: „Hey, das ist einfach nur Unsinn“, und solche Notizen in einen „Kein Grund“-Ordner zu legen.
- Das Roboter-Problem: Ohone das „Praktikum“ (Fine-Tuning) wurden die Roboter oft durch diese leeren Notizen verwirrt. Sie ignorierten sie entweder oder versuchten, sie in eine Kategorie zu pressen, in die sie nicht gehörten.
- Die Lösung: Nur der Roboter, der das „Praktikum“ (Fine-Tuning) absolviert hatte, lernte, diese „Unsinn“-Notizen korrekt zu identifizieren und zu sortieren. Die anderen ließen viele davon an den falschen Stellen oder sortierten sie gar nicht erst.
4. Der Kernpunkt: Ist der Roboter bereit, den Menschen zu ersetzen?
Das Papier kommt zu dem Schluss, dass Roboter für diese spezifische Aufgabe noch kein „Einmal einstellen und vergessen“-Lösungsansatz sind.
- Wenn man den Roboter einfach so fragt (ab Werk): Ist es, als würde man einen klugen Praktikanten einstellen, der noch nicht auf Ihre spezifischen Regeln trainiert wurde. Er wird Fehler machen, besonders bei kniffligen oder vagen Notizen. Tatsächlich war eine einfachere, ältere Computermethode (wie eine Support Vector Machine) in diesem speziellen deutschen Kontext sogar besser als die untrainierten Roboter.
- Wenn man den Roboter zuerst trainiert (Fine-Tuning): Dann wird er zu einem supereffizienten Arbeiter, der die Qualität eines Menschen erreicht. ABER, um ihn zu trainieren, muss man immer noch einen Menschen brauchen, der die harte Arbeit der Sortierung übernimmt, um den Roboter zu lehren.
Das Fazzeit:
Die Nutzung dieser KI-Roboter ist wie die Nutzung eines High-Tech-Mixers. Wenn man nur ganzes Gemüse hineinwirft, ohne es vorzubereiten (Fine-Tuning), bekommt man einen unordentlichen Smoothie. Wenn man das Gemüse zuerst schneidet (menschliche Kodierung) und dann den Mixer den Rest machen lässt, bekommt man ein perfektes Getränk.
Für den Moment müssen also Menschen weiterhin Teil des Prozesses sein. Man kann nicht einfach einen Schalter umlegen und die KI die Umfragedaten perfekt sortieren lassen, besonders wenn es sich um eine Sprache wie Deutsch handelt oder die Fragen komplex sind. Man muss die KI zuerst lehren, was bedeutet, dass man selbst noch einen Teil der Arbeit leisten muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.