💬 NLP

Poller: Are LLMs Suitable for Evaluating the Poetry Understanding Task?

Dieses Paper stellt Poller vor, eine neuartige, auf LLMs basierende Evaluierungsmethode, die die Perspektive eines Dichters einnimmt, um Fehler bei der Bewertung des Verständnisses chinesischer Poesie über spezialisierte Dimensionen hinweg signifikant zu reduzieren und somit die Lücke zwischen automatisierter Effizienz und menschlicher Expertise effektiv zu schließen.

Ursprüngliche Autoren: Shanshan Wang, Derek F. Wong, Jingming Yao, Lidia S. Chao

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shanshan Wang, Derek F. Wong, Jingming Yao, Lidia S. Chao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Schachtel mit wunderschönen, komplexen, modernen chinesischen Gedichten. Sie möchten wissen, ob ein Computer (speziell ein Large Language Model oder LLM) diese gut genug verstehen kann, um die Erklärung einer anderen Person zu bewerten.

Das Problem: Der „höfliche Roboter“ vs. der „echte Dichter“
Die Forscher fanden heraus, dass Standard-KI-Modelle bei dieser Aufgabe schlecht abschneiden. Es ist, als würde man einen höflichen, belesenen Roboter bitten, ein Gemälde zu beurteilen. Der Roboter sieht die Farben und Formen, aber er verpasst die Seele des Werks.

In den Experimenten der Arbeit, als die KI versuchte, das Verständnis eines Menschen für ein Gedicht zu bewerten, war sie übermäßig großzügig. Sie vergab Punktzahlen von 90 oder 95 von 100, selbst wenn die Erklärung des Menschen oberflächlich war oder den Kern der Sache verfehlte. Die KI sagte im Grunde: „Oh, Sie haben große Wörter benutzt? Das ist toll! Hier ist eine 1+!“ Ihr fehlte der tiefe, kulturelle und emotionale Kontext, den ein echter Dichter besessen hätte.

Die Lösung: „Poller“ (Der Rollenspiel-Trick)
Um dies zu beheben, erfanden die Forscher eine Methode namens Poller (Poetry LLM Evaluator).

Stellen Sie sich das so vor: Anstatt die KI zu bitten, ein generischer „Lehrer“ zu sein, bitten sie die KI, den eigentlichen Autor des Gedichts zu spielen.

So machen sie es:

Der Kostümwechsel: Sie füttern die KI mit einem „Charakterblatt“ des echten Dichters. Dies umfasst die Biografie des Dichters, seine persönlichen Kämpfe, seine spezifische Sicht auf die Kunst und sogar das, was berühmte Kritiker über sein Werk gesagt haben.
Der Perspektivwechsel: Der KI wird gesagt: „Du bist jetzt dieser Dichter. Du hast dieses Gedicht geschrieben. Schau dir nun die Erklärung dieses Studenten zu deinem Werk an. Erfasst sie das, was du sagen wolltestest?“
Das Urteil: Indem sie in die Schuhe des Dichters schlüpft, hört die KI auf, ein höflicher Roboter zu sein, und beginnt wie ein Schöpfer zu denken. Sie beginnt, die subtilen Metaphern, den spezifischen Rhythmus und die verborgenen Emotionen wahrzunehmen, die eine generische KI übersehen würde.

Die Ergebnisse: Von „zu nett“ zu „genau auf den Punkt“
Die Ergebnisse waren dramatisch.

Vor Poller: Die KI war wie ein Freund, der niemanden verletzen will und fast allem hohe Punktzahlen gibt. Die Lücke zwischen der Note der KI und der Note eines menschlichen Experten war riesig.
Nach Poller: Die KI wurde zu einem strengen, einsichtigen Kritiker. Wenn sie die Rolle des Dichters spielte, kam ihre Bewertung viel näher an das heran, was ein menschlicher Experte geben würde.

Zum Beispiel, als es darum ging, wie gut jemand rhetorische Techniken (die schicken Tricks, die Dichter benutzen) oder Verfremdung (das Vertraute fremd erscheinen zu lassen, um zum Nachdenken anzuregen) verstand, sank der Fehler der KI um fast 95 %. Sie wandelte sich von wilderweise ungenau zu fast so gut wie ein menschlicher Experte.

Das Fazit
Die Arbeit kommt zu dem Schluss, dass KI ein guter Richter über Poesie sein kann, aber nur, wenn man sie austrickst, damit sie den Hut des Dichters aufsetzt. Indem man die KI zwingt, die spezifische Perspektive, den Hintergrund und die Seele des Autors einzunehmen, überbrückt man die Kluft zwischen „schneller Computerverarbeitung“ und „tiefem menschlichem Fachwissen“.

Was die Arbeit NICHT sagt

Sie behauptet nicht, dass diese Methode für alle Arten von Texten funktioniert (wie Nachrichtenartikel oder juristische Verträge); sie wurde speziell an moderner chinesischer Poesie getestet.
Sie sagt nicht, dass dies menschliche Dichter oder Kritiker vollständig ersetzen wird; sie bietet lediglich einen besseren Weg, um Aufgaben zum Verständnis von Poesie automatisch zu bewerten.
Sie behauptet nicht, dass die KI tatsächlich Emotionen fühlt; sie simuliert lediglich die Perspektive des Dichters so gut, dass die Bewertung präzise wird.

Kurz gesagt: Um einen Computer dazu zu bringen, Poesie zu verstehen, muss man ihn dazu bringen, der Dichter zu spielen. Sobald er das tut, versteht er endlich den Witz.

Technisches Resümee: Poller – Evaluierung des Poesieverständnisses mit Large Language Models

Problemstellung

Traditionelle automatische Evaluierungsmethoden (z. B. BLEU, ROUGE) sind für die moderne chinesische Poesie ungeeignet, da das Genre stark auf metaphorischer Sprache, Rhythmus, Bildsprache und kulturellen Nuancen basiert. Während die menschliche Evaluierung den Goldstandard darstellt, ist sie kostspielig, zeitaufwendig und für große Datensätze unpraktikabel. Frühere Versuche, Large Language Models (LLMs) als Evaluatoren für poesiebezogene Aufgaben einzusetzen, lieferten unbefriedigende Ergebnisse; LLMs weisen oft eine signifikante Verzerrung auf, wie etwa die Bevorzugung des eigenen generierten Textes oder die Konzentration auf oberflächliche linguistische Merkmale unter Missachtung tiefer kultureller Kontexte und der Intention des Autors. Folglich besteht eine kritische Lücke zwischen automatisierter Effizienz und menschlicher Expertise bei der Evaluierung von Poesieverständnis.

Methodik: Das Poller-Framework

Die Autoren schlagen Poller (Poetry LLM Evaluator) vor, eine neuartige Methode, die darauf abzielt, diese Lücke zu schließen, indem sie LLMs nutzt, um die Perspektive des Poeten zu simulieren. Die Kernhypothese lautet, dass ein Evaluator, um das Verständnis eines Lesers für ein Gedicht korrekt zu bewerten, die spezifische Persona, den Hintergrund und die Intention des Dichters annehmen muss.

Kernablauf

Datenerhebung: Die Studie verwendet 40 hochwertige, unveröffentlichte moderne chinesische Gedichte, die von fünf professionellen Dichtern verfasst wurden.
Generierung des Verständnisses: Ein LLM (GPT-4-Turbo) generiert Interpretationen dieser Gedichte über acht spezialisierte Dimensionen hinweg:
- Inhalt, Sprache, Bildsprache, rhetorische Techniken, Rhythmus, Verfremdung (Defamiliarization), Gedanken & Emotionen sowie Modernität.
Menschlicher Benchmark: Die fünf ursprünglichen Dichter bewerten diese Interpretationen und liefern einen Ground-Truth-Score (0–100) für jede Dimension.
LLM-Evaluierung mittels Rollenspiel: Anstatt als generischer Richter zu agieren, wird das evaluierende LLM dazu aufgefordert, die Rolle des spezifischen Autors des Gedichts einzunehmen. Dies geschieht durch das Injizieren detaillierter Autoreninformationen in den Prompt, einschließlich:
- Basisinformationen ( $I_i$ ): Beruf, Hintergrund und persönliche Geschichte.
  ot Poetische Ansichten ( $V_i$ ): Die eigenen Erfahrungen und Philosophien des Autors in Bezug auf die Poesie.
- Kritikerkommentare ( $C_i$ ): Professionelle Rezensionen der veröffentlichten Werke des Autors.
Prompting-Strategien: Die Studie testet vier Prompting-Strategien ( $P_1$ $P_{1}$ bis $P_4$ $P_{4}$ ), um den Rollenspiel-Mechanismus zu verfeinern:
- $P_1$ : Das Modell spielt den Autor und agiert als Richter.
- $P_2$ : Es wird betont, dass das Gedicht vom Modell (als Autor) geschrieben wurde und das Verständnis von einem Leser stammt.
- $P_3$ : Erfordert das Modell, seine Rolle als Autor explizit zu deklarieren, bevor es die Bewertung vornimmt.
- $P_4$ : Kombiniert $P_2$ und $P_3$ .

Zentrale Beiträge

Erste Untersuchung von LLMs als Poesie-Evaluatoren: Diese Arbeit ist die erste, die systematisch die Fähigkeit von LLMs untersucht, die Aufgabe des „Poesieverständnisses“ zu evaluieren, womit sie über die bloße Evaluierung von Generierung oder Übersetzung hinausgeht.
Die Poller-Methode: Der Vorschlag eines Rollenspiel-Frameworks, bei dem LLMs die Persona des Autors unter Verwendung detaillierter biografischer und kritischer Kontexte annehmen, um das menschliche Urteil zu emulieren.
Multidimensionale Validierung: Die Studie validiert die Methode über mehrere gängige LLMs (GPT-4-Turbo, DeepSeek-R1, Qwen2.5-Turbo, Claude3.5-sonnet) und acht distinkte Evaluierungsdimensionen hinweg.

Experimentelle Ergebnisse

Die Studie vergleicht die Baseline-LLM-Evaluierung (ohne Rollenspiel, $P_0$ ) mit der Poller-Methode ( $P_1$ – $P_4$ ) unter Verwendung der absoluten Abweichung von den menschlichen Scores als primäre Metrik.

Fehlerreduktion: Die Poller-Methode reduziert den Evaluierungsfehler zwischen LLMs und Menschen signifikant.
- GPT-4-Turbo: Erzielte mit der optimalen Strategie ( $P_3$ ) eine Reduktion des durchschnittlichen Evaluierungsfehlers um 57,37 % (von 14,38 auf 6,13).
- DeepSeek-R1: Erzielte eine Reduktion des durchschnittlichen Fehlers um 46,95 % (von 12,61 auf 6,69).
- Claude3.5-sonnet: Erzielte eine Reduktion um 41,87 %.
- Qwen2.5-Turbo: Erzielte eine Reduktion um 23,08 %.
Dimensionsspezifische Leistung: Die Methode zeigte außergewöhnliche Verbesserungen in spezifischen Dimensionen:
- Rhetorische Techniken: DeepSeek-R1 unter Verwendung von $P_3$ reduzierte den Fehler um 94,55 % (von 11,37 auf 0,62).
- Verfremdung (Defamiliarization): GPT-4-Turbo unter Verwendung von $P_3$ reduzierte den Fehler um 89,53 % (von 10,98 auf 1,15).
Baseline-Vergleich: Ohne die Poller-Methode bewerteten LLMs menschliche Interpretationen konsistent zu hoch (z. B. GPT-4-Turbo im Durchschnitt 93,46 gegenüber menschlich 79,08), was auf einen Mangel an kritischem Urteilsvermögen hindeutet. Die Poller-Methode brachte die LLM-Scores wesentlich näher an die menschlichen Benchmarks.

Bedeutung und Behauptungen

Das Paper behauptet, dass Poller effektiv die Lücke zwischen automatisierter Effizienz und menschlicher Expertise in der Poesie-Evaluierung schließt. Durch das Erzwingen der Perspektive des Autors mittels detaillierten Rollenspiels mildert die Methode die inhärente Voreingenommenheit und Oberflächlichkeit von Standard-LLM-Evaluierungen ab.

Die Autoren stellen fest:

Aktuelle LLMs sind in ihrem Standardzustand nicht für die Poesie-Evaluierung geeignet.
Mit dem Poller-Framework werden LLMs jedoch zu praktikablen Werkzeugen zur Unterstützung bei der Evaluierung von Aufgaben des Poesieverständnisses.
Der Ansatz schafft eine Grundlage für die automatisierte Evaluierung in poesiebezogenen Aufgaben, insbesondere für die moderne chinesische Poesie, indem er den „angenommenen Charakter“ des Dichters simuliert, um kulturelle und emotionale Subtexte zu erfassen.

Limitierungen: Die Autoren merken an, dass die Studie auf moderne chinesische Poesie (Freiform) beschränkt ist und auf der Verfügbarkeit spezifischer Hintergrundinformationen zum Poeten basiert. Während die Kernidee, die Perspektive des Autors einzunehmen, als übertragbar gilt, bleibt die Anwendung auf andere poetische Formen oder traditionelle Texte, bei denen Autorendaten knapp sind, eine offene Herausforderung.