💬 NLP

CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations

Das Papier stellt CroCo vor, eine Methode, die zeigt, dass cross-sprachliches kontrastives Präferenz-Tuning mit selbstgenerierten Antworten und einem auf Englisch trainierten Belohnungsmodell die Leistung multilingualer LLMs über diverse Aufgaben hinweg effektiv verbessert, ohne sprachspezifische Präferenz-Annotationen zu erfordern, sofern On-Policy-Daten verwendet werden.

Ursprüngliche Autoren: Mike Zhang, Ali Basirat, Desmond Elliott

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Mike Zhang, Ali Basirat, Desmond Elliott

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Einen mehrsprachigen Koch ohne mehrsprachigen Kritiker unterrichten

Stellen Sie sich vor, Sie haben einen talentierten Koch (das KI-Modell), der viele Sprachen spricht, aber lernen muss, bessere Gerichte zuzubereiten, die Menschen tatsächlich mögen. Normalerweise benötigen Sie, um einen Koch zu unterrichten, einen Food-Kritiker, der dieselbe Sprache wie der Koch spricht, um die Gerichte zu probieren und zu sagen: „Dieses ist großartig, das andere ist schrecklich."

Das Problem:
In der Welt der KI gibt es viele „Kritiker" (Belohnungsmodelle), die Experten für Englisch sind, aber sehr wenige, die Experten für Dänisch, Niederländisch oder Italienisch sind. Traditionell versuchten Forscher, um einen mehrsprachigen Koch zu verbessern, englische Anweisungen in andere Sprachen zu übersetzen oder spezifische Kritiker für jede einzelne Sprache zu engagieren. Dies ist teuer, langsam und führt oft dazu, dass der Koch vergisst, wie man seine ursprünglichen Gerichte zubereitet (ein Problem, das als „katastrophales Vergessen" bezeichnet wird).

Die Lösung (CROCO):
Die Autoren dieses Papers schlagen einen cleveren Abkürzungsweg namens CROCO vor. Anstatt einen Kritiker für jede Sprache zu benötigen, verwenden sie einen englischsprachigen Kritiker und eine Technik namens Contrastive Preference Tuning (kontrastives Präferenz-Tuning).

So funktioniert es, Schritt für Schritt:

1. Das „Selbst-Generierung"-Buffet

Anstatt den Koch zu bitten, nur ein Gericht zuzubereiten, wird die KI (der Koch) gebeten, 64 verschiedene Versionen desselben Rezepts für eine bestimmte Sprache zu kochen (z. B. 64 Versionen einer dänischen Geschichte).

2. Die „Ein-Kritiker"-Bewertungskarte

Der einzelne englischsprachige Kritiker probiert alle 64 Versionen. Obwohl der Kritiker Englisch spricht, kann er immer noch den Unterschied zwischen einer kohärenten, hilfreichen dänischen Geschichte und einer wirren, verwirrenden erkennen. Er gibt jeder Version eine Punktzahl.

Die entscheidende Erkenntnis: Der Kritiker muss nicht exakt wissen, wie gut eine dänische Geschichte im absoluten Sinne ist. Er muss nur konsistent sein. Wenn Geschichte A eine 90 und Geschichte B eine 10 erhält, weiß der Kritiker, dass A besser ist als B, auch wenn die Zahlen nicht perfekt sind.

3. Die „Sweet Spot"-Kopplung

Dies ist der magische Trick. Die Forscher wählen nicht einfach die „beste" und die „schlechteste" Geschichte aus.

Sie wählen die beste Geschichte (den Gewinner).
Sie wählen eine mittelmäßige Geschichte aus, die eindeutig schlechter ist als der Gewinner, aber nicht die absolut schlechteste (speziell eine, die etwa 2 Standardabweichungen unter dem Durchschnittswert liegt).

Stellen Sie es sich wie einen Sporttrainer vor. Anstatt einem Spieler ein Video eines Goldmedaillengewinners und ein Video von jemandem zu zeigen, der über seine Schnürsenkel stolpert, zeigt der Trainer ihm den Goldmedaillengewinner und einen Spieler, der ein paar Fehler gemacht hat, aber dennoch das Spiel gespielt hat. Dieser „Kontrast" ist für den Spieler leichter zu lernen.

4. Die Lektion (DPO)

Die KI lernt, indem sie diese zwei spezifischen Geschichten vergleicht: „Ich sollte auf den Gewinner hinarbeiten, und ich sollte den Stil der mittelmäßigen Geschichte vermeiden." Da die KI den Unterschied (die Lücke) zwischen den beiden lernt, spielt es keine Rolle, ob das Bewertungssystem des Kritikers für diese spezifische Sprache leicht „falsch" ist. Solange die Rangfolge konsistent ist, lernt die KI die richtige Lektion.

Was sie herausfanden

Die Forscher testeten dies an zwei verschiedenen KI-Modellen (ein kleines und ein mittelgroßes) über 14 verschiedene Sprachen hinweg (einschließlich Dänisch, Niederländisch, Französisch, Deutsch, Italienisch, Spanisch und sogar ressourcenarmer Sprachen wie Walisisch und Irisch).

Die „Übersetzungs"-Falle: Als sie versuchten, einfach englische Trainingsdaten in andere Sprachen zu übersetzen und die KI direkt zu unterrichten (Supervised Fine-Tuning), geriet die KI in Verwirrung und vergaß, wie man diese Sprachen gut spricht. Es war, als würde man einen französischen Koch zwingen, ein übersetztes italienisches Rezeptbuch auswendig zu lernen; sie bekamen die Wörter falsch hin und vergaßen ihre ursprünglichen Fähigkeiten.
Der CROCO-Erfolg: Mit der Methode „Selbst-Generierung + Ein Kritiker" verbesserte sich die KI in fast jeder Sprache.
- Sie wurde besser bei strukturierten Aufgaben (wie Mathematik und Programmieren) und bei offenen Aufgaben (wie kreativem Schreiben).
- Es funktionierte sowohl für die kleinen als auch für die großen Modelle.
- Es funktionierte sogar für Sprachen, die die KI während des Trainings nicht gesehen hatte, was zeigt, dass sie eine allgemeine „bessere Koch"-Fähigkeit gelernt hat, die sich über Sprachen hinweg überträgt.

Die „Geheimsauce"-Anforderungen

Das Paper ergab, dass diese Methode nur funktioniert, wenn Sie zwei strenge Regeln befolgen:

Sie müssen Ihr eigenes Kochen verwenden (On-Policy-Daten): Die KI muss die 64 Geschichten selbst generieren. Wenn Sie Geschichten verwenden, die von einer anderen KI generiert wurden, um sie zu unterrichten, schlägt die Methode fehl. Es ist, als würde ein Koch aus seinen eigenen Fehlern lernen statt aus denen eines anderen.
Der „Offline"-Ansatz ist besser: Sie müssen alle Geschichten bewerten, bevor Sie beginnen, die KI zu unterrichten. Wenn Sie versuchen, die KI zu unterrichten, während sie Geschichten in Echtzeit generiert (Online), wird die KI durch das unmittelbare Feedback des Kritikers verwirrt und lernt nicht so gut.

Das Fazit

Dieses Paper beweist, dass Sie kein Team mehrsprachiger Experten benötigen, um eine KI darin zu unterrichten, in vielen Sprachen besser zu sein. Sie benötigen nur einen konsistenten englischsprachigen Kritiker und einen intelligenten Weg, der KI den Unterschied zwischen einer „guten" und einer „schlechten" Antwort in ihrer eigenen Sprache zu zeigen.

Indem sie sich auf den relativen Unterschied zwischen Antworten konzentrieren, anstatt auf die absolute Qualität, kann die KI lernen, besser Dänisch, Italienisch oder Walisisch zu sprechen, ohne dass sie für jede einzelne einen spezifischen Lehrer benötigt und ohne das Englische zu vergessen.

Technische Zusammenfassung: CROCO – Cross-Lingual Contrastive Preference Tuning on Self-Generations

Problemstellung

Die Ausrichtung von Large Language Models (LLMs) auf menschliche Präferenzen ist eine kritische letzte Phase des Post-Trainings, die typischerweise durch Direct Preference Optimization (DPO) erreicht wird. Obwohl neuere Fortschritte gezeigt haben, dass DPO auf selbstgenerierten Stichproben angewendet werden kann (unter Verwendung eines Reward-Modells zur Bewertung der eigenen Ausgaben des Policy-Modells anstelle menschlicher Annotationen), wurden diese Methoden ausschließlich auf Englisch etabliert.

Die Erweiterung auf ein mehrsprachiges Setting stellt erhebliche Herausforderungen dar. Bisherige Arbeiten zur mehrsprachigen Präferenz-Ausrichtung verlassen sich auf translationsbasierte Signale, nutzen Fähigkeitslücken zwischen Englisch und anderen Sprachen als implizite Belohnungen oder gewichten Verluste für verrauschte Paare neu. Es bleibt jedoch eine offene Frage, ob der spezifische Mechanismus des contrastive preference tuning on self-generations – bei dem Präferenzpaare basierend auf relativen Belohnungswerten innerhalb einer Verteilung konstruiert werden – ohne sprachspezifische Präferenzannotationen über Sprachen hinweg transferierbar ist. Ferner ist unklar, ob ein Reward-Modell (RM), das ausschließlich auf englischen Präferenzen trainiert wurde, Antworten in anderen Sprachen effektiv rangieren kann, um eine mehrsprachige Ausrichtung zu steuern.

Methodik: CROCO

Die Autoren schlagen CROCO (Cross-Lingual Contrastive Preference Tuning on Self-Generations) vor, ein Framework, das die „sweet spot"-Präferenzkonstruktion (Xiao et al., 2025) auf mehrere Sprachen erweitert.

Kernmechanismus

Selbstgenerierung: Für einen gegebenen Prompt $x$ in einer Zielsprache $\ell$ generiert das Policy-Modell $\pi_\theta$ $K$ Kandidatenantworten ( $Y_x$ ).
Belohnungsbewertung: Ein externes, off-the-shelf Reward-Modell (RM) bewertet diese Antworten. Entscheidend ist, dass das RM auf englischen Präferenzen trainiert wurde, aber auf einem mehrsprachigen Basismodell (z. B. Qwen3-8B) aufbaut.
Kontrastives Paar-Konstruieren: Anstatt die am höchsten bewertete Antwort mit der absolut niedrigsten zu paaren, wählt die Methode einen „sweet spot" aus, um kontrollierte Kontrastivität zu induzieren:
- Ausgewählt ( $y_c$ ): Die Antwort mit dem maximalen Belohnungswert.
- Verworfen ( $y_r$ ): Die Antwort, deren Belohnungswert am nächsten an $\mu_x - 2\sigma_x$ liegt (wobei $\mu$ und $\sigma$ der Mittelwert und die Standardabweichung der Belohnungsverteilung für diesen Prompt sind).
Training: Das Modell wird mit DPO auf diesen konstruierten Paaren feinabgestimmt. Die Autoren evaluieren zwei Regime:
- Einsprachig: Unabhängiges Tuning auf Daten für jede Sprache.
- Mehrsprachig: Gemeinsames Tuning auf der Vereinigung der Daten über alle Sprachen hinweg.

Experimentelles Setup

Modelle: Zwei Modelle unterschiedlicher Skalierung wurden getestet: EuroLLM-9B (9B Parameter) und aya-3B (3B Parameter).
Daten: 20.000 Instruction-Tuning-Instanzen aus dem Dolci-Instruct-SFT-Korpus wurden in sechs europäische Sprachen (Dänisch, Niederländisch, Französisch, Deutsch, Italienisch, Spanisch) mittels TranslateGemma-27B übersetzt.
Reward-Modell: Skywork-Reward-V2-Qwen3-8B, ein RM, das auf englischen Präferenzen trainiert wurde und auf einem mehrsprachigen Basismodell aufbaut.
Baselines: Standard Supervised Fine-Tuning (SFT) auf übersetzten Daten, SFT nur auf den am höchsten bewerteten Antworten (Max-R) und bestehende mehrsprachige Präferenz-Tuning-Methoden (ICR, MAPO).

Hauptbeiträge

Cross-Lingualer Transfer von Contrastive Tuning: Die Arbeit zeigt, dass contrastive preference tuning on self-generations effektiv über Sprachen hinweg transferiert wird. DPO auf gepaarten Selbstgenerierungen übertrifft SFT-Baselines und bestehende mehrsprachige Methoden, während Standard-SFT auf übersetzten Daten zu katastrophalem Vergessen führt.
Eliminierung sprachspezifischer Annotation: Die Studie zeigt, dass mehrsprachiges Präferenz-Tuning keine sprachspezifischen Präferenzannotationen erfordert. Ein rein englischsprachiges RM (auf einem mehrsprachigen Basismodell) erzeugt konsistente Rangfolgen innerhalb der Sprache, die Verbesserungen in den meisten Sprachen vorantreiben.
Robustheit über Skalierungen und Aufgaben hinweg: Die Methode verbessert die Leistung sowohl bei strukturierten Aufgaben (EuroEval) als auch bei offener Generierung (m-ArenaHard 2.1). Sie erreicht oder übertrifft das Basismodell in 6/7 Sprachen für EuroLLM-9B und in 4/7 Sprachen für aya-3B bei strukturierten Aufgaben und gewinnt gegen das Basismodell in allen 11 bewerteten Sprachen bei offener Generierung.
Ablations-Erkenntnisse:
- Notwendigkeit von On-Policy-Daten: Die Gewinne erfordern On-Policy-Daten. Off-Policy-Antworten (generiert von einem anderen Modell) reduzieren die Vorteile, und Online-Präferenz-Optimierung verbessert sich nicht gegenüber der Offline-Variante bei Verwendung eines externen RMs.
- Prompt-Sprache: Die Prompt-Sprache sollte für optimale Leistung mit der Sprache der ausgewählten Antwort übereinstimmen.
- Nützlichkeit der Übersetzung: Während SFT mit übersetzten Daten an Leistung verliert, bleibt das kontrastive Signal in DPO auch dann informativ, wenn die Übersetzung Rauschen hinzufügt, da es auf relativen Belohnungslücken und nicht auf absoluten Zielen beruht.

Ergebnisse

EuroEval (Strukturierte Aufgaben):
- SFT-Versagen: Sowohl einsprachiges als auch mehrsprachiges SFT auf übersetzten Daten verursachten katastrophales Vergessen, mit Leistungsabfällen zwischen 0,1 und 11,3 Punkten.
- DPO-Erfolg: Gepaartes DPO war in 12/14 Settings für aya-3B nicht-negativ und verbesserte die Baseline in 10/14 Settings für EuroLLM-9B. Der größte Gewinn betrug +3,6 Punkte für EuroLLM-9B auf Italienisch (einsprachig).
- Vergleich: Gepaartes DPO war die einzige Methode, die im Durchschnitt über alle Sprachen hinweg nicht-negativ blieb und ICR sowie MAPO übertraf, die oft die Leistung verschlechterten.
m-ArenaHard 2.1 (Offene Generierung):
- Gepaartes DPO erzielte gewinnkontrollierte (LC) Gewinnraten zwischen 54,5 % und 58,4 % gegen die EuroLLM-9B-Basis über alle 7 Sprachen hinweg.
- Für aya-3B lagen die LC-Gewinnraten zwischen 55,5 % und 66,3 %, mit zweistelligen Gewinnen in den meisten Sprachen.
- Die Methode schloss erfolgreich die Leistungslücke zwischen den Basismodellen und größeren Referenzmodellen (Gemma3-12B und Gemma3-4B) in den meisten Sprachen.
Generalisierung: Die Methode generalisierte positiv auf zurückgehaltene Sprachen (Norwegisch, Portugiesisch, Schwedisch) in EuroEval, während mehrsprachiges SFT die Leistung auf allen zurückgehaltenen Datensätzen verschlechterte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CROCO eine vielversprechende Richtung für mehrsprachiges Präferenz-Tuning darstellt, indem sie zeigt, dass die relative Belohnungslücke ein robustes Signal ist, das über Sprachen hinweg transferiert wird, selbst wenn das Reward-Modell ausschließlich auf englischen Präferenzen trainiert wurde.

Die Autoren gehen davon aus, dass die Abhängigkeit des DPO-Ziels von der relativen Ordnung gepaarter Antworten (und nicht von absoluter Kalibrierung) es ihm ermöglicht, Übersetzungsrauschen und cross-linguale Fehlkalibrierung zu tolerieren. Diese Erkenntnis legt nahe, dass hochwertige mehrsprachige Ausrichtung ohne die prohibitiven Kosten einer pro-sprachlichen Präferenzannotation erreicht werden kann, sofern On-Policy-Selbstgenerierungen zur Konstruktion kontrastiver Paare verwendet werden.

Die Arbeit unterstreicht, dass On-Policy-Daten eine kritische Komponente sind, da das kontrastive Signal nur dann informativ ist, wenn die gepaarten Antworten aus der eigenen Verteilung des Policy-Modells stammen. Ferner wird festgestellt, dass Offline-DPO mit einem festen Reward-Modell in diesem Setting überlegen ist gegenüber Online-DPO, da Letzteres einen Feedback-Loop erzeugt, der die Verzerrungen des Reward-Modells verstärkt, anstatt echte Präferenzen zu lernen.

Letztendlich argumentiert die Arbeit, dass ein einzelnes englischsprachig trainiertes Reward-Modell, wenn es über die Konstruktion kontrastiver Paare auf mehrsprachige selbstgenerierte Daten angewendet wird, ausreicht, um konsistente Verbesserungen über diverse Sprachen und Modellskalierungen hinweg zu erzielen und das katastrophale Vergessen zu vermeiden, das mit Standard-Supervised-Fine-Tuning verbunden ist.