Is Position Bias in Dense Retrievers Built In-or Learned from Data?

Diese Arbeit zeigt, dass die Positionsverzerrung in dichten Retrieval-Modellen primär aus der Verteilung der Evidenz in den Trainingsdaten gelernt wird und nicht inhärent zur Modellarchitektur gehört, und belegt, dass eine ausgewogene Kuratierung der Daten diese Verzerrung erheblich abschwächen kann, ohne dabei die wettbewerbsfähige Retrieval-Leistung zu beeinträchtigen.

Das Wesentliche

Die große Frage: Ist die Verzerrung eingebaut oder erlernt?

Stellen Sie sich vor, Sie stellen einen Bibliothekar ein, um in einer riesigen Bibliothek voller Bücher nach spezifischen Fakten zu suchen. Sie bemerken ein seltsames Problem: Dieser Bibliothekar ist schrecklich darin, Informationen zu finden, wenn sie sich in der Mitte oder ganz am Ende eines Buches befinden. Er findet die Antwort fast immer, wenn sie auf der ersten Seite steht, aber wenn die Antwort auf Seite 500 steht, verpasst er sie oft komplett.

Dies nennt man Positionsverzerrung. Lange Zeit glaubten Forscher, diese Verzerrung sei „fest verdrahtet" im Gehirn des Bibliothekars (der Architektur des Computermodells), wie eine physische Einschränkung seiner Augen oder Ohren. Sie dachten: „Ach, der Bibliothekar kann einfach nicht über die erste Seite hinaussehen."

Dieses Papier stellt eine andere Frage: Was, wenn der Bibliothekar nicht mit dieser schlechten Angewohnheit geboren wurde? Was, wenn er sie nur von den Büchern gelernt hat, mit denen er trainiert wurde?

Das Experiment: Den Bibliothekar trainieren

Um dies zu testen, richteten die Forscher ein spezielles Trainingslager für acht verschiedene Arten von Bibliothekaren (Computermodelle) ein. Diese Bibliothekare hatten unterschiedliche „Gehirnstrukturen" (einige waren Encoder, einige Decoder, einige nutzten verschiedene mathematische Tricks), sodass sie unterschiedliche natürliche Tendenzen haben sollten.

Die Forscher stellten vier verschiedene Trainingsszenarien mit synthetischen Daten auf:

1. Das „Nur-Start"-Lager: Sie zeigten dem Bibliothekar nur Fragen, bei denen die Antwort ganz am Anfang des Textes stand.
2. Das „Nur-Mitte"-Lager: Sie zeigten nur Fragen, bei denen die Antwort in der Mitte stand.
3. Das „Nur-Ende"-Lager: Sie zeigten nur Fragen, bei denen die Antwort ganz am Ende stand.
4. Das „Ausgeglichene" Lager: Sie zeigten eine Mischung aus allen drei, damit der Bibliothekar lernte, dass Antworten überall sein können.

Die Ergebnisse: Der Bibliothekar kopiert den Lehrer

Die Ergebnisse waren überraschend und sehr klar. Die Bibliothekare hielten nicht an ihren „natürlichen" Gehirnstrukturen fest; sie übernahmen vollständig die Gewohnheiten ihres Trainingslagers.

• Die „Nur-Start"-Bibliothekare wurden besessen vom Anfang des Textes. Wenn die Antwort dort war, waren sie großartig. Wenn sie am Ende stand, versagten sie kläglich.
• Die „Nur-Ende"-Bibliothekare drehten das Blatt um. Sie ignorierten den Anfang und wurden zu Experten darin, Antworten ganz am Ende des Dokuments zu finden.
• Die „Nur-Mitte"-Bibliothekare lernten, spezifisch in der Mitte zu suchen.

Die Analogie: Stellen Sie sich vor, Sie bringen einem Hund bei, sich nur hinzusetzen, wenn Sie auf der linken Seite des Raumes stehen. Wenn Sie dann auf die rechte Seite gehen und „Sitz" sagen, wird der Hund es nicht tun. Der Hund ist nicht „schlecht" im Sitzen; er hat nur gelernt, dass „Sitz" nur auf der linken Seite passiert. Ähnlich haben diese KI-Modelle gelernt, dass „relevante Informationen" nur dort existieren, wo die Trainingsdaten ihnen gesagt haben, sie zu suchen.

Selbst die Bibliothekare, die mit einer leichten natürlichen Präferenz begannen (wie eine leichte Tendenz, den Anfang anzusehen), veränderten ihr Verhalten vollständig, um den Trainingsdaten zu entsprechen.

Die Lösung: Die „ausgeglichene" Diät

Das Papier testete auch, was passiert, wenn man dem Bibliothekar eine ausgeglichene Diät gibt (das „Ausgeglichene Lager").

• Das Ergebnis: Wenn sie auf einer Mischung aus Beispielen für Anfang, Mitte und Ende trainiert wurden, wurden die Bibliothekare viel zuverlässiger. Sie hörten auf, Teile des Buches zu ignorieren.
• Der Kompromiss: Hatte dies sie insgesamt langsamer oder schlechter gemacht? Nein. Sie blieben genauso gut darin, Antworten zu finden wie die verzerrten, aber sie hatten keine „blinden Flecken". Sie konnten die Antwort finden, egal ob sie auf Seite 1 oder Seite 500 stand.

Warum das wichtig ist

Das Papier kommt zu dem Schluss, dass Positionsverzerrung kein dauerhafter Fehler im Design der Maschine ist. Es ist eine erlernte Angewohnheit aus den Daten, mit denen sie gefüttert wurde.

• Das Problem: Viele reale Datensätze (wie Nachrichtenartikel oder Suchprotokolle) bringen die wichtigsten Informationen natürlich an den Anfang. Wenn man eine KI darauf trainiert, lernt sie, den Rest des Dokuments zu ignorieren.
• Die Lösung: Sie müssen das Gehirn der KI nicht neu bauen oder ihre komplexe Mathematik ändern. Sie müssen nur Ihre Trainingsdaten besser kuratieren. Indem Sie sicherstellen, dass die KI Beispiele sieht, bei denen die Antwort in der Mitte und am Ende steht, können Sie die Verzerrung „verlernen" und einen robusteren, fairen Sucher schaffen.

Kurz gesagt: Die Verzerrung ist nicht eingebaut; sie ist erlernt. Und genau wie ein Schüler schlechte Lerngewohnheiten verlernen kann, wenn man ihm die richtigen Übungsaufgaben gibt, können diese KI-Modelle Positionsverzerrung verlernen, wenn man ihnen ausgeglichene Trainingsdaten gibt.

Technische Zusammenfassung

Technische Zusammenfassung: Positionsverzerrung bei dichten Retrievern

Problemstellung

Dichte Retriever, die für das offene Frage-Antwort-System und die retrieval-augmentierte Generierung (RAG) von zentraler Bedeutung sind, zeigen eine systematische Positionsverzerrung. Sie bevorzugen Dokumente überproportional, in denen query-relevante Informationen nahe dem Anfang erscheinen, was zu einer erheblichen Leistungsverschlechterung führt, wenn relevante Beweise in der Mitte oder am Ende eines Dokuments liegen.

Während frühere Forschungen diese Verzerrung empirisch über verschiedene Trainingsstadien und Positionscodierungen hinweg beobachtet haben, bleibt die zugrunde liegende Ursache unklar. Bisherige Erklärungen konzentrierten sich auf architektonische Faktoren, wie kausale Aufmerksamkeit in autoregressiven Modellen oder spezifische Pooling-Token-Aufmerksamkeitsmuster. Encoder-basierte dichte Retriever verfügen jedoch über keine kausale Maskierung und zeigen dennoch eine starke „Primacy-Verzerrung", was darauf hindeutet, dass die Architektur allein das Phänomen nicht vollständig erklären kann. Eine kritische Lücke besteht im Verständnis des Ausmaßes, in dem die positionsbezogene Verteilung von Feinabstimmungsdaten diese Verzerrung prägt, da frühere Arbeiten weitgehend auf Beobachtungen statt auf direkter Manipulation der Trainingsdatenverteilungen beruhten.

Methodik

Um den Effekt von Trainingsdaten auf die Positionsverzerrung auf Retrieval-Ebene zu isolieren, entwickelten die Autoren einen kontrollierten experimentellen Rahmen, der synthetische, positionszielgerichtete Datensätze und diverse Modellarchitekturen umfasst.

1. Konstruktion positionskontrollierter Daten

Die Autoren entwickelten eine dreistufige Pipeline zur Generierung von Trainingsdaten, bei der der Ort query-relevanter Beweise streng kontrolliert wird:

• Korpusvorbereitung: Unter Verwendung der englischen Wikipedia wurden Dokumente nach Länge in fünf Klassen (256–8192 Zeichen) stratifiziert und in drei gleich große Segmente unterteilt: Anfang, Mitte und Ende.
• Positionszielgerichtete Query-Generierung: Unter Verwendung von GPT-4o-mini mit persona-konditioniertem Prompting wurden Queries generiert, die nur durch ein spezifisches Zielsegment (Anfang, Mitte oder Ende) beantwortbar waren.
• Multi-Reranker-Verifizierung: Um sicherzustellen, dass die generierten Queries wirklich ausschließlich für das Zielsegment geeignet waren, verifizierte ein Panel aus drei Cross-Encoder-Rerankern (BGE, GTE, Jina) die Kandidaten. Ein Kandidat wurde nur beibehalten, wenn alle Reranker das Zielsegment mindestens um $\delta=0.3$ höher bewerteten als das stärkste Nicht-Ziel-Segment.
• Ausgewogenes Sampling: Der resultierende verbleibende Pool war natürlicherweise zum Anfang hin verzerrt. Um kontrollierte Trainingssets zu erstellen, unterwarfen die Autoren das Sampling innerhalb der Zellen für Länge und Position einer Downsampling-Prozedur, um eine gleichmäßige Repräsentation von Längenklassen und Zielpositionen für spezifische experimentelle Konfigurationen sicherzustellen.

2. Experimentelles Design

Die Studie feinabstimmte acht architektonisch diverse vortrainierte Modelle (einschließlich BERT, Longformer, ModernBERT, GPT-2, BLOOM, TinyLlama und Qwen3) unter vier distincten Trainingskonfigurationen:

• Konzentrierte Konfigurationen: Trainingsdaten, bei denen 100 % der Queries auf den Anfang (MB), die Mitte (MM) oder das Ende (ME) von Dokumenten zielten.
• Uniforme Konfiguration (MU): Trainingsdaten, bei denen Queries gleichmäßig über alle drei Positionen verteilt waren.

Die Modelle wurden evaluiert an:

• Positions-sensitiven Benchmarks: SQuAD-PosQ, FineWeb-PosQ und PosIR, die eine Leistungsmessung basierend auf dem spezifischen Ort der Beweise ermöglichen.
• Standard-Retrieval-Benchmarks: Vier BEIR-Teilmengen (SciFact, HotpotQA, FEVER, Climate-FEVER), um die Leistung unter konventionellen Einstellungen zu bewerten, bei denen der Ort der Beweise nicht kontrolliert wird.
• Repräsentationsanalyse: Kosinus-Ähnlichkeitsanalysen zwischen Query-Dokument-Paaren und Dokument-Segment-Embeddings, um festzustellen, ob eine Verzerrung auf Embedding-Ebene existiert.

Wichtige Ergebnisse

1. Trainingsverteilung bestimmt die Richtung der Verzerrung

Das primäre Ergebnis ist, dass die Positionsverzerrung auf Retrieval-Ebene der Trainingsdatenverteilung folgt, unabhängig von der Architektur des Modells.

• Modelle, die auf zum Anfang hin verzerrten Daten (MB) trainiert wurden, bevorzugten konsistent frühe Beweise.
• Modelle, die auf zur Mitte hin verzerrten Daten (MM) trainiert wurden, bevorzugten mittlere Beweise.
• Modelle, die auf zum Ende hin verzerrten Daten (ME) trainiert wurden, bevorzugten spätere Beweise.
• Diese Richtungsverschiebung trat bei allen acht Modellen auf, einschließlich solcher mit unterschiedlichen Positionscodierungen (APE, RoPE, ALiBi, NoPE) und Pooling-Strategien (CLS, Mean, Last-token).

2. Minderung durch ausgewogenes Training

Positions-ausgewogenes Training (MU) reduzierte die Positions-Sensitivität erheblich, ohne die Retrieval-Leistung zu beeinträchtigen.

• Auf positions-sensitiven Benchmarks reduzierte das ausgewogene Training den Positions-Sensitivitäts-Index (PSI) um 57–87 % im Vergleich zur am stärksten verzerrten Konfiguration für alle Modelle.
• Beispielsweise sank der PSI für GPT-2-medium auf SQuAD-PosQ von 0,592 (am Anfang trainiert) auf 0,080 (uniform trainiert).
• Entscheidend behielten die uniform trainierten Modelle eine wettbewerbsfähige mittlere Retrieval-Leistung (nDCG@10) bei und erreichten oft die höchsten oder nahezu höchsten Scores über die Benchmarks hinweg. Dies zeigt, dass die Reduzierung der Verzerrung keinen Kompromiss bei der allgemeinen Retrieval-Qualität erfordert.

3. Verschiebungen auf Repräsentationsebene

Die Analyse von Dokument-Embeddings ergab, dass Feinabstimmung erlernte Positionspräferenzen neu formt:

• Vortrainierte Basismodelle zeigten nur milde, modellspezifische anfängliche Tendenzen (z. B. leichte Primacy bei Encodern, Recency bei einigen Decodern).
• Nach der Feinabstimmung verschoben sich die Ähnlichkeitsprofile der Dokumentsegmente, um sich an die Trainingsverteilung anzupassen. Beispielsweise zeigten am Anfang trainierte Modelle eine höhere Ähnlichkeit zum ersten Segment, während am Ende trainierte Modelle eine höhere Ähnlichkeit zu den letzten Segmenten aufwiesen.
• Uniformes Training komprimierte diese Profile, was zu flacheren Ähnlichkeitskurven über die Positionen hinweg führte.

4. Spezifität der Benchmarks

Die Studie beobachtete, dass Standard-Benchmark-Scores (z. B. BEIR) hinsichtlich der Robustheit irreführend sein können. Benchmarks mit Beweisen, die stark am Anfang konzentriert sind (wie FEVER), begünstigten am Anfang trainierte Modelle und verschleierten deren mangelnde Robustheit gegenüber Beweisen, die anderswo erscheinen. Umgekehrt performten Modelle, die auf ausgewogenen Daten trainiert wurden, über verschiedene Beweisorte hinweg konsistenter.

Bedeutung und Behauptungen

Die Arbeit behauptet, die positionsbezogene Verteilung des Trainings als einen major kontrollierbaren Faktor in der Positionsverzerrung auf Retrieval-Ebene zu identifizieren und stellt die Vorstellung in Frage, dass diese Verzerrung eine inhärente, unveränderliche Eigenschaft dichter Retriever-Architekturen sei.

• Kausale Evidenz: Durch die direkte Manipulation der positionsbezogenen Verteilung der Trainingsdaten liefern die Autoren direkte Evidenz dafür, dass die Datenkuratierung die Richtung der Verzerrung antreibt, und nicht nur die Architektur oder das Pretraining.
• Praktische Minderung: Die Studie schlägt ausgewogene Datenkuratierung als praktische und effektive Strategie zur Minderung der Positionsverzerrung vor. Sie zeigt, dass die einfache Sicherstellung einer gleichmäßigen Verteilung query-relevanter Beweise über Dokumentpositionen während der Feinabstimmung Modelle hervorbringen kann, die gegenüber dem Ort der Beweise robust sind und gleichzeitig eine hohe Retrieval-Leistung beibehalten.
• Architektur-Unabhängigkeit: Die Ergebnisse deuten darauf hin, dass architektonische Faktoren (wie Positionscodierungen oder Pooling-Strategien) nicht die alleinigen Determinanten der Verzerrung sind; selbst Modelle mit grundlegend unterschiedlichen Mechanismen zur Positionsverarbeitung können durch Trainingsdaten zu spezifischen Verzerrungsmustern gelenkt werden.

Die Autoren schließen, dass zwar vorbestehende architektonische oder Pretraining-Tendenzen in einigen Modellen bestehen bleiben, die Richtung der Verzerrung auf Retrieval-Ebene jedoch weitgehend formbar ist und durch kontrollierte Trainingsdatenverteilungen umgelenkt werden kann.