💰 quantitative finance

AI evaluation may bias perceptions: The importance of context in interpreting academic writing

Diese Arbeit zeigt, dass die Verwendung gepoolter Benchmarks zur Erkennung von KI-generierten Texten im wissenschaftlichen Schreiben erhebliche Verzerrungen über verschiedene Länder und Fachgebiete hinweg einführt, und argumentiert, dass kontextspezifische Benchmarks für eine genaue und faire Bewertung unerlässlich sind.

Ursprüngliche Autoren: Shang Wu, Randol Yao

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shang Wu, Randol Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Richter bei einer Talentshow, und Ihre Aufgabe besteht darin, herauszufinden, welche Sänger eine „magische Stimme" (KI) verwenden, um perfekt zu klingen. Die Arbeit von Shang Wu und Randol Yao argumentiert, dass die derzeitige Methode, diese magischen Stimmenboxen aufzuspüren, defekt ist, weil sie die natürlichen Hintergründe der Sänger ignoriert.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

Das Problem: Ein Maß passt nicht für alle

Die Forscher stellten fest, dass die meisten aktuellen Methoden eine einzelne „Goldstandard"-Checkliste verwenden, um alle zu beurteilen. Diese Checkliste wurde erstellt, indem untersucht wurde, wie KI Texte verändert, unter der Annahme, dass alle menschlichen Texte vom selben Ausgangspunkt starten.

Die Analogie:
Stellen Sie sich vor, Sie beurteilen einen Kochwettbewerb. Sie haben eine Checkliste mit „verdächtigen Zutaten", die KI-Köche verwenden könnten.

Der Fehler: Sie wenden diese gleiche Checkliste auf einen französischen, einen japanischen und einen mexikanischen Koch an.
Die Realität: Der französische Koch verwendet natürlich Zutaten wie „Butter" und „Schalotten". Der japanische Koch verwendet natürlich „Sojasauce" und „Miso".
Der Irrtum: Wenn Ihre Checkliste besagt: „Wenn Sie Butter verwenden, betrügen Sie", werden Sie den französischen Koch zu Unrecht der Verwendung von KI bezichtigen, obwohl er Butter seit Jahrhunderten verwendet. Gleichzeitig könnten Sie den mexikanischen Koch übersehen, der eine andere Reihe von Zutaten verwendet, die Ihre Checkliste nicht als verdächtig markiert.

In der Arbeit sind die „Zutaten" bestimmte Wörter (wie „insbesondere", „nutzend" oder „fördern"). Die Studie zeigt, dass einige Länder und akademische Bereiche diese Wörter die ganze Zeit natürlich verwenden, lange bevor KI existierte.

Das Experiment: Der „Zeitreise"-Test

Um dies zu beweisen, untersuchten die Forscher wissenschaftliche Arbeiten aus dem Jahr 2021 (bevor KI-Schreibtools weit verbreitet waren).

Die Erwartung: Da noch niemand KI verwendete, sollte der „KI-Detektor" null KI-Nutzung feststellen.
Das Ergebnis mit der alten Methode (Der gepoolte Benchmark): Der Detektor geriet völlig aus dem Gleichgewicht. Er behauptete, Forscher in den USA und Großbritannien würden KI stark nutzen, während Forscher in Russland oder Brasilien fast keine nutzen würden.
Die Realität: Dies war ein Fehlalarm. Der Detektor war einfach verwirrt durch die Tatsache, dass amerikanische und britische Wissenschaftler natürlich in einem Stil schreiben, der wie KI aussieht. Er verwechselte einen „britischen Akzent" mit einer „Roboterstimme".

Die Lösung: Maßgeschneiderte Checklisten

Die Forscher entwickelten eine neue Methode: Länder- und Fachspezifische Benchmarks.
Anstatt eine einzige riesige Checkliste für alle zu haben, erstellten sie 234 winzige, maßgeschneiderte Checklisten.

Eine Checkliste für „Mathematik in den USA".
Eine Checkliste für „Wirtschaftswissenschaften in China".
Eine Checkliste für „Psychologie in Deutschland".

Die Analogie:
Jetzt fragt der Richter den französischen Koch nicht: „Haben Sie Butter verwendet?" (was für sie normal ist), sondern: „Haben Sie zusätzliche Butter verwendet im Vergleich zu dem, was Sie normalerweise verwenden?"

Wenn der französische Koch seine normale Buttermenge verwendet, sagt der Richter: „Unbedenklich".
Wenn der französische Koch plötzlich die doppelte Menge Butter verwendet, sagt der Richter: „Verdächtig".

Die Ergebnisse: Wer wird zu Unrecht beschuldigt?

Als sie diese maßgeschneiderten Checklisten auf Arbeiten aus dem Jahr 2025 (als KI tatsächlich verwendet wurde) anwendeten, stellten sie fest, dass die alte Methode eine verzerrte Karte der Welt erstellte:

Überschätzung (Falsche Anschuldigungen): Die alte Methode ließ es so aussehen, als würden Forscher in englischsprachigen Ländern (wie den USA und Großbritannien) und in Bereichen wie Wirtschaftswissenschaften und Geisteswissenschaften am meisten KI verwenden.
- Warum? Weil ihr natürlicher Schreibstil für den generischen Detektor bereits „KI-ähnlich" klang.
Unterschätzung (Übersehene Entdeckung): Die alte Methode ließ es so aussehen, als würden Forscher in Russland, Brasilien, Japan und Osteuropa sowie in Bereichen wie Mathematik und Naturwissenschaften sehr wenig KI verwenden.
- Warum? Weil ihr natürlicher Schreibstil so unterschiedlich vom „KI-Stil" war, dass der Detektor die KI nicht erkannte, selbst wenn sie vorhanden war.

Warum dies wichtig ist

Die Arbeit kommt zu dem Schluss, dass wir, wenn wir die „Einheitsmethode" weiter verwenden, Folgendes tun werden:

Wissenschaftler aus englischsprachigen Ländern oder den Sozialwissenschaften zu Unrecht bestrafen, indem wir sie so aussehen lassen, als würden sie betrügen.
Andere davonkommen lassen, die tatsächlich KI verwenden könnten, einfach weil ihr Schreibstil anders ist.
Ungleichheit schaffen: Es verstärkt die Idee, dass einige Gruppen „weniger originell" sind als andere, nicht weil sie es sind, sondern weil das Messband defekt ist.

Das Fazit:
Um fair zu beurteilen, ob ein Wissenschaftler KI verwendet, können Sie nicht nur die Wörter betrachten, die er verwendet. Sie müssen verstehen, wer er ist und was er normalerweise schreibt. Sie müssen wissen, ob er von Natur aus ein „Butter-Koch" ist, bevor Sie ihm die Verwendung einer magischen Stimmebox vorwerfen.

Technisches Fazit: KI-Evaluierung kann Wahrnehmungen verzerren

Problemstellung
Der Artikel adressiert einen kritischen Mangel in aktuellen Methoden zur Schätzung der Nutzung von Large Language Models (LLMs) im wissenschaftlichen Schreiben. Bestehende Ansätze stützen sich häufig auf einen „gepoolten Benchmark" – einen einzigen, globalen Standard für „KI-Ähnlichkeit", der auf aggregierten Daten aus allen Ländern und Disziplinen trainiert wurde. Die Autoren argumentieren, dass dieser Ansatz erhebliche, bereits bestehende stilistische Heterogenität zwischen verschiedenen Länder-Feld-Gruppen ignoriert. Da wissenschaftliche Schreibkonventionen, sprachliche Normen und rhetorische Stile je nach Geografie und Disziplin erheblich variieren, besteht bei einem einheitlichen Benchmark die Gefahr, natürliche stilistische Variation mit KI-generiertem Text zu vermischen. Diese Vermischung kann zu systematischen Fehlklassifizierungen führen, bei denen bestimmte Gruppen häufiger KI nutzen zu scheinen, einfach weil ihr Basisschreibstil näher am gepoolten „KI-ähnlichen" Profil liegt, selbst wenn keine tatsächliche LLM-Nutzung vorliegt.

Methodik
Die Studie nutzt groß angelegte Publikationsdaten aus der Dimensions-Datenbank, die englischsprachige Zeitschriftenpublikationen von 2020 bis 2025 abdecken. Die Autoren definieren 18 Ländergruppen und 13 Fachgebiete, wodurch 234 distincte Länder-Feld-Gruppen entstehen.

Datenerstellung:
- Trainingskorpus (2020): Die Autoren sampeln bis zu 2.000 Publikationen pro Länder-Feld-Gruppe aus dem Jahr 2020 (Vor-LLM-Ära). Sie verwenden ChatGPT-4o-mini, um die Abstracts dieser Publikationen mittels eines zweistufigen „Outline-and-Expand"-Verfahrens umzuformulieren. Dies erzeugt Paare aus originalen, menschlich verfassten und KI-umformulierten Abstracts.
- Inferenzkorpus: Publikationen aus den Jahren 2021 (als Placebo vor der LLM-Ära) und 2025 (nach der LLM-Ära) werden zur Testung der Benchmarks verwendet.
Benchmark-Erstellung:
- Gepoolter Benchmark: Ein einziger Satz von wortbasierten Log-Odds-Ratios wird berechnet, indem alle Trainingsdaten von 2020 über alle 234 Gruppen hinweg gepoolt werden. Dies etabliert eine globale Baseline für Wortnutzungswahrscheinlichkeiten in menschlichen versus KI-Texten.
- Länder-Feld-spezifische Benchmarks: 234 separate Benchmarks werden erstellt, wobei jeder Benchmark ausschließlich auf den Daten innerhalb seiner spezifischen Länder-Feld-Gruppe trainiert wird.
- Metrik: Für jedes Wort $t$ wird das Log-Odds-Verhältnis berechnet als $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$ , wobei $P_t$ und $Q_t$ die Wahrscheinlichkeiten des Auftretens des Wortes in menschlich verfassten bzw. KI-umformulierten Abstracts sind. Negative Werte deuten auf Wörter hin, die eher in KI-Texten auftreten.
Schätzung:
- Die Autoren verwenden einen Maximum-Likelihood-Schätzer (MLE), um das Mischgewicht ( $\alpha$ ) zu schätzen, das den Anteil des durch KI modifizierten Textes darstellt.
- Wortvorkommen auf Satzebene werden als Bernoulli-Ereignisse modelliert. Die Likelihood eines Satzes wird als Mischung von menschlichen und KI-Verteilungen modelliert: $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$ .
- Der Schätzer wird zweimal auf die Daten von 2025 angewendet: einmal unter Verwendung des gepoolten Benchmarks ( $\alpha^{pool}_g$ ) und einmal unter Verwendung des gruppenspezifischen Benchmarks ( $\alpha^g_g$ ).

Hauptergebnisse

Bestehende stilistische Heterogenität:
Die Analyse der Daten von 2020 (vor der LLM-Ära) zeigt erhebliche Variationen in der Nutzung „KI-ähnlicher" Wörter zwischen den Gruppen. Eine ANOVA-Zerlegung ergibt, dass etwa 80 % der Varianz in den Log-Odds-Ratios auf Unterschiede zwischen Ländern innerhalb desselben Fachgebiets zurückzuführen sind, und nicht auf Unterschiede zwischen den Fachgebieten. Permutationssimulationen bestätigen, dass diese Heterogenität echt ist und kein statistisches Rauschen.
Verzerrung im Placebo vor der LLM-Ära (2021):
Wenn der gepoolte Benchmark auf Publikationen von 2021 angewendet wird (wo die tatsächliche KI-Nutzung nahe null liegen sollte), ergibt sich eine stark verzerrte Verteilung der geschätzten KI-Nutzung ( $\alpha$ ).
- Überschätzung: Englisch-dominante Länder (z. B. USA, Großbritannien) und Fachgebiete wie Wirtschaftswissenschaften, Management und Geisteswissenschaften zeigen künstlich hohe Basisschätzungen (bis zu 0,17).
- Unterschätzung: Länder wie Russland und Fachgebiete wie Mathematische und Physikalische Wissenschaften zeigen Basen nahe null.
- Im Gegensatz dazu produzieren die länder- und fachgebietsspezifischen Benchmarks eine Verteilung, die nahe bei 0,04–0,05 zentriert ist, mit signifikant reduzierter Streuung (die Standardabweichung sinkt von 0,052 auf 0,016) und bieten eine glaubwürdigere Baseline.
Systematische Verzerrung in den Schätzungen von 2025:
Der Vergleich der Schätzungen von 2025 zeigt, dass der gepoolte Benchmark die wahrgenommene geografische und disziplinäre Verteilung der KI-Nutzung systematisch verzerrt:
- Überschätzung: Die KI-Nutzung wird in englisch-dominanten Ländern und in Fachgebieten mit Schreibstilen überschätzt, die dem gepoolten KI-Profil ähneln (z. B. Wirtschaftswissenschaften, Psychologie, Informatik).
- Unterschätzung: Die KI-Nutzung wird in nicht-englisch-dominanten Ländern (z. B. Russland, Brasilien, Japan) und in Fachgebieten mit distincten stilistischen Baselines unterschätzt (z. B. Mathematische Wissenschaften, Biomedizinische Wissenschaften).

Bedeutung und Behauptungen
Der Artikel argumentiert, dass eine genaue Evaluierung der KI-Nutzung in der Wissenschaft kontextbewusste Messungen erfordert und nicht auf Standards der „Größe für alle" angewiesen ist. Die Autoren behaupten, dass gepoolte Benchmarks nicht lediglich Rauschen hinzufügen, sondern strukturierte Verzerrungen erzeugen, die das wahrgenommene Landschaftsbild der KI-Adoption neu formen.

Gerechtigkeit und Vertrauen: Die Ergebnisse legen nahe, dass aktuelle Detektionsmethoden bestehende Ungleichheiten verstärken können. Forschende in englisch-dominanten, einkommensstarken Ländern könnten fälschlicherweise wegen „KI-ähnlichen" Schreibens (was als Flüssigkeit interpretiert werden könnte) markiert werden, während Forschende in anderen Regionen oder Disziplinen untererkannt werden oder unterschiedliche Glaubwürdigkeitsstrafen erfahren.
Politische Implikationen: Die Autoren warnen vor der Einführung einheitlicher KI-Erkennungsschwellenwerte in Richtlinien zur akademischen Integrität, bei der Screening von Zeitschriften und der Einhaltung von Förderauflagen. Sie plädieren für kontextkalibrierte Benchmarks, um eine Verzerrung des wissenschaftlichen Diskurses und die Erosion des Vertrauens in bestimmten Regionen oder Disziplinen zu verhindern.
Methodologischer Beitrag: Die Studie zeigt, dass das Ignorieren kontextueller Baselines zu fragilen Interpretationen von KI-Adoptionstrends führt. Durch die Einbeziehung länder- und fachgebietsspezifischer Baselines wird die Glaubwürdigkeit von gruppenübergreifenden Vergleichen signifikant verbessert.

Der Artikel schließt, dass zwar kein Benchmark völlig verzerrungsfrei ist, der Schritt hin zu kontextbewusster Messung jedoch ein notwendiger Schritt ist, um eine faire und genaue Evaluierung von KI im wissenschaftlichen Schreiben zu gewährleisten.