Friend or Foe? Language as an ideological switch in open-weight LLMs under Russian disinformation stress
Diese Arbeit stellt die Annahme infrage, dass kulturell abgestimmtes Fine-Tuning politische Resilienz gewährleistet, indem sie durch ein kontrolliertes Audit aufzeigt, dass der Widerstand von Open-Weight-LLMs gegen russische Desinformation eher durch die Korpuszusammensetzung und die Sprachabdeckung als durch deren nominelle kulturelle Provenienz bestimmt wird, was ein Paradoxon offenbart, wonach ukrainisch orientierte Modelle weniger resistent sein können als russisch orientierte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein sehr intelligentes, leeres Robotergehirn (das Basismodell). Sie wollen dem Roboter beibringen, mit Menschen in verschiedenen Ländern zu sprechen, also geben Sie ihm eine „spezielle Diät“ aus Büchern und Artikeln, die speziell für Ukrainer, Russen oder Bulgaren geschrieben wurden. Dieser Prozess wird als Feinabstimmung (Fine-Tuning) bezeichnet.
Die gängige Annahme lautet: Wenn man den Roboter mit ukrainischen Büchern füttert, wird er ein loyaler ukrainischer Verteidiger. Wenn man ihn mit russischen Büchern füttert, wird er ein russischer Loyalist.
Dieses Paper hat diese Annahme während des Krieges zwischen Russland und der Ukraine getestet. Die Forscher ließen vier verschiedene Robotergehirne (ein neutrales, ein „ukrainisches“, ein „russisches“ und ein „bulgarisches“) zehn verschiedene kontroverse Geschichten über den Krieg bewerten. Sie stellten dieselben Fragen in drei Sprachen: Englisch, Ukrainisch und Russisch.
Hier ist das, was sie herausgefunden haben, einfach erklärt:
1. Die Überraschung des „Trojanischen Pferdes“
Die Forscher erwarteten, dass der „ukrainische“ Roboter russische Lügen stark zurückweisen würde und der „russische“ Roboter sie glauben würde. Sie lagen völlig falsch.
- Der „ukrainische“ Roboter (Lapa): Wenn er auf Russisch gefragt wurde, war dieser Roboter tatsächlich am schlechtesten darin, russische Propaganda zu erkennen. Er behandelte russische Lügen oft so, als wären es gültige, ehrliche Argumente. Es war wie ein ukrainischer Führer, der, wenn er Russisch sprach, plötzlich so klang, als würde er dem Feind zustimmen.
- Der „russische“ Roboter (Saiga): Überraschenderweise war dieser Roboter auf Russisch am stärksten darin, russische Propaganda abzulehnen. Es war wie ein russischer Führer, der in seiner eigenen Sprache die Wahrheit vehement gegen die Lügen seiner eigenen Regierung verteidigte.
Die Analogie: Stellen Sie sich vor, Sie stellen einen Leibwächter für eine VIP-Person ein. Sie erwarten, dass der Leibwächter, den die Familie des VIPs engagiert hat, ihn am besten schützt. Aber in dieser Studie öffnete der Leibwächter, der von der Familie engagiert wurde (das ukrainische Modell), tatsächlich die Tür für den Eindringling, wenn der Eindringling eine bestimmte Sprache sprach. Währenddessen schlug der Leibwächter, der von der Seite des Eindringlings engagiert wurde (das russische Modell), die Tür fest zu.
2. Der „Sprachwechsel“-Effekt
Die Sprache, die der Nutzer spricht, wirkt wie eine Fernbedienung für das Gehirn des Roboters.
- Wenn der „ukrainische“ Roboter auf Englisch gefragt wurde, war er okay.
- Wenn er auf Ukrainisch gefragt wurde, wurde er etwas schlechter.
- Wenn er auf Russisch gefragt wurde, wurde er am schlechtesten.
Die Sprache änderte nicht nur, wie er sprach; sie änderte, was er glaubte. Die Forscher nennen dies den „Hidden Agent Effect“ (Verborgener-Agent-Effekt). Es ist, als hätte der Roboter verschiedene Persönlichkeiten in sich verborgen, und die Sprache, die man verwendet, ist der Schlüssel, der eine bestimmte Persönlichkeit freischaltet. In diesem Fall schaltete das Sprechen von Russisch mit dem „ukrainischen“ Roboter eine Persönlichkeit frei, die sehr verwirrt über die Wahrheit war.
3. Der „Ernst vs. Plaudern“-Test
Die Forscher fragten die Roboter auf zwei Arten:
- Die „ernste“ Art: „Agieren Sie wie ein Historiker. Listen Sie Argumente für beide Seiten auf und geben Sie eine prozentuale Bewertung ab.“
- Die „plaudernde“ Art: „Sagen Sie mir einfach in ein paar Sätzen, was Sie denken.“
Manchmal führte die Aufforderung an den Roboter, „ernst“ und analytisch zu sein, dazu, dass er noch verwirrter und voreingenommener wurde. Wenn er gezwungen wurde, intensiv über die Argumente nachzudenken, gab der „ukrainische“ Roboter in russischer Sprache tatsächlich den Lügen mehr Gewicht. Wenn er nur locker plauderte, war er manchmal akkurater. Es ist wie ein Student, der, wenn er gebeten wird, einen formellen Essay zu schreiben, sich so sehr in den Regeln verheddert, dass er versehentlich für die falsche Seite argumentiert, aber wenn er einfach nur mit einem Freund spricht, hat er recht.
4. Der Schutzschild der „Harten Fakten“
Es gab eine Sache, die alle Roboter vor Voreingenommenheit bewahrte: Harte, dokumentierte Fakten.
Wenn die Frage die Krim betraf (für die es klare internationale Rechtsdokumente gibt) oder Gräueltaten (wie das Massaker von Butscha, das Videobeweise und forensische Beweise hat), stimmten alle Roboter in der Wahrheit überein, ungeachtet ihres „Essens“ (ihrer Feinabstimmung) oder der verwendeten Sprache.
Die Analogie: Denken Sie an die Roboter als ein Haus. Die „Feinabstimmung“ (die spezielle Diät) ist wie das Streichen der Wände in einer bestimmten Farbe. Aber wenn Sie einen riesigen, unbeweglichen Stahlschrank in die Mitte des Raumes stellen (harte Fakten), spielt die Farbe der Wände keine Rolle mehr. Der Schrank bleibt sicher. Die Roboter konnten nur bei Themen beeinflusst werden, bei denen der „Stahlschrank“ der Beweise fehlte.
Das wichtigste Fazsergebnis
Die Hauptlektion dieses Papers ist eine Warnung: Nur weil ein Roboter „kulturell auf ein Land abgestimmt“ ist, bedeutet das nicht, dass er die Wahrheit dieses Landes schützen wird.
Die Forscher fanden heraus, dass der Inhalt der Bücher, die der Roboter gelesen hat (Zusammensetzung des Korpus), und die Sprache, in der mit ihm gesprochen wurde, viel wichtiger waren als die „Nationalität“ des Roboters.
Die größte Gefahr ist nicht unbedingt ein Roboter, der von der Gegenseite gebaut wurde. Die Gefahr ist ein Roboter, der von der eigenen Seite gebaut wurde, der aber – wenn man mit ihm in der Sprache des Gegners spricht – versehentlich beginnt, die Lügen des Gegners zu wiederholen, weil er nicht gut genug trainiert wurde, um in dieser spezifischen Sprache dagegen zu argumentieren.
Kurz gesagt: Man kann nicht davon ausgehen, dass ein „ukrainischer“ Roboter immer die ukrainische Wahrheit sagen wird. Wenn man mit ihm auf Russisch spricht, könnte er einen überraschen, indem er den Lügen zustimmt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.