Cross-Preference Learning for Sentence-Level and Context-Aware Machine Translation

1. Problemstellung

Moderne maschinelle Übersetzungssysteme (MT) müssen zunehmend unter verschiedenen Eingabebedingungen operieren: entweder nur mit einem einzelnen Quellensatz (Sentence-Level) oder mit zusätzlichem Kontext aus dem umgebenden Dokument (Context-Aware).

Die zentrale Beobachtung der Autoren ist, dass kontextbewusste Übersetzung nicht konsistent besser ist als die satzweise Übersetzung. Wie in Abbildung 1 des Papers gezeigt, profitieren einige Sätze stark vom Kontext, während andere Sätze durch den Kontext sogar schlechter übersetzt werden (z. B. aufgrund von Rauschen, Redundanz oder irreführenden Signalen).

• Aktuelle Limitierung: Bestehende Modelle werden meist unter einer festen Eingabebedingung trainiert und gehen implizit davon aus, dass mehr Kontext immer vorteilhaft ist. Es fehlt ein Mechanismus, der dem Modell beibringt, wann es Kontext nutzen soll und wann es besser ist, sich nur auf den einzelnen Satz zu verlassen.
• Folge: Herkömmliche Ansätze können diese Variabilität nicht explizit modellieren, was zu suboptimalen Ergebnissen führt, wenn der Kontext nicht hilfreich ist.

2. Methodik: Cross-Preference Learning (CPL)

Die Autoren schlagen Cross-Preference Learning (CPL) vor, ein auf Präferenzoptimierung basierendes Trainingsframework, das die komplementären Vorteile beider Ansätze nutzt, ohne die Architektur des Modells zu ändern.

Grundprinzipien:

• Zwei Eingabebedingungen: Ein einziges Modell wird trainiert, um sowohl $p_\theta(y|x)$ (Satz-Level) als auch $p_\theta(y|x, c)$ (Kontext-Level) zu generieren.
• Präferenz-Labeling: Für jede Bedingung werden Kandidatenübersetzungen generiert und basierend auf automatischen Metriken (Durchschnitt aus satzweiser und dokumentenweiter COMET) bewertet. Der besser bewertete Kandidat wird als bevorzugt ($y^+$), der schlechtere als nicht bevorzugt ($y^-$) markiert.

Die CPL-Lösung besteht aus zwei Komponenten:

1. Intra-Condition Preference Learning (Intra-Condition):

   • Anwendung von Contrastive Preference Optimization (CPO) separat für Satz-Level- und Kontext-Level-Daten.
   • Das Modell lernt, innerhalb jeder Bedingung die besseren Übersetzungen zu bevorzugen.

2. Cross-Condition Preference Learning (Cross-Condition / Cross-CPO):

   • Dies ist der Kerninnovation. Das Modell vergleicht direkt Übersetzungen desselben Satzes, die unter unterschiedlichen Bedingungen (mit vs. ohne Kontext) generiert wurden.
   • Für jeden Satz wird die beste Übersetzung unter allen vier Kandidaten (2 aus Satz-Level, 2 aus Kontext-Level) identifiziert. Die Bedingung, die diese beste Übersetzung liefert, ist die „gewinnende Bedingung" ($w$), die andere die „verlierende Bedingung" ($l$).
   • Es werden zwei Arten von Präferenzpaaren konstruiert:
     • $(y^+_w, y^+_l)$: Die beste Übersetzung der Gewinn-Bedingung gegen die beste der Verlust-Bedingung.
     • $(y^+_w, y^-_l)$: Die beste Übersetzung der Gewinn-Bedingung gegen die schlechteste der Verlust-Bedingung.
   • Ziel: Das Modell lernt explizit, welche Bedingung für einen bestimmten Satz bevorzugt werden sollte, und nutzt Signale aus einer Bedingung, um das Lernen in der anderen zu beeinflussen.

Gesamtziel-Funktion:
Die Verlustfunktion ist die Summe aus dem Intra-Condition-Verlust und dem Cross-Condition-Verlust:
$$L_{CPL}(\theta) = L_{intra}(\theta) + L_{cross}(\theta)$$

3. Wichtige Beiträge

• Erweiterung der Präferenzoptimierung: CPL ist das erste Framework, das Präferenzlernen auf eine Dual-Condition-Situation (Satz vs. Kontext) erweitert und Interaktionen zwischen diesen Bedingungen explizit modelliert.
• Architekturunabhängigkeit: Die Methode erfordert keine Änderungen an der Modellarchitektur und kann auf beliebige geteilte Parameter-Übersetzungssysteme angewendet werden.
• Adaptive Kontextnutzung: Das Modell lernt nicht nur, Kontext zu nutzen, sondern auch, wann es ihn ignorieren sollte, um Rauschen zu vermeiden.

4. Experimentelle Ergebnisse

Die Evaluation erfolgte auf sechs Übersetzungsrichtungen (Englisch zu Deutsch, Spanisch, Französisch, Italienisch, Niederländisch, Russisch) unter Verwendung von Modellen wie Qwen3-4B/8B und Llama-3-8B.

• Leistungsgewinn: CPL übertrifft konsistent alle Baselines, einschließlich feinabgestimmter Modelle (SFT) und Modelle, die nur mit Intra-Condition-Präferenzen trainiert wurden.
  • Beispiel: Bei Qwen3-4B erzielte CPL durchschnittliche COMET-Verbesserungen von ca. 1,1 Punkten gegenüber dem besten Baseline-Modell (Sent+Ctxtuned+).
• Robustheit: Das Modell verbessert die Qualität sowohl für Satz-Level- als auch für Kontext-Level-Eingaben gleichzeitig.
• Analyse der Kontextnutzung:
  • CPL nutzt informativen Kontext effektiv (Verbesserung um 0,21–0,64 Punkte bei „Gold"-Kontext).
  • Bei „rauschhaftem" Kontext (zufällig ausgewählte Sätze aus anderen Dokumenten) degradiert CPL nicht, sondern verhält sich ähnlich wie das reine Satz-Level-Modell. Dies beweist die Fähigkeit, Kontext selektiv zu nutzen.
• Qualitätsmetriken: Neben COMET zeigten zusätzliche Metriken (Diskurs-Kohärenz, ALTI+ für Treue, GPT-basierte Fluency) durchgängige Verbesserungen.
• Ablationsstudie: Beide Komponenten (Intra- und Cross-Loss) sind notwendig; das Entfernen des Cross-Loss führt zu spürbaren Leistungseinbußen.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass Satz-Level- und Kontext-Level-Übersetzung komplementär sind und kein Ansatz den anderen universell dominiert.

• Paradigmenwechsel: Statt Modelle zu trainieren, die blind Kontext nutzen, ermöglicht CPL ein adaptives Lernen, das den optimalen Eingabetyp für jeden einzelnen Satz lernt.
• Praktische Relevanz: Da keine Architekturänderungen nötig sind, kann CPL leicht in bestehende Large Language Models (LLMs) integriert werden, um robustere und kontextsensitive Übersetzungssysteme zu schaffen, die auch bei unzuverlässigem Kontext stabil bleiben.

Zusammenfassend bietet CPL einen eleganten Weg, um die Lücke zwischen der Notwendigkeit von Kontext für bestimmte Sätze und der Gefahr von Kontext-Rauschen zu schließen, indem es die Präferenzen beider Modi in einem einzigen Optimierungsziel vereint.