💬 NLP

Controlling Output Rankings in Generative Engines for LLM-based Search

Dieses Paper stellt CORE vor, eine Optimierungsmethode, die strategisch Inhalte an Suchmaschinenergebnisse anhängt, um die Output-Rankings von LLM-basierten generativen Engines zu manipulieren, wobei hohe Erfolgsraten bei der Promotion von Zielprodukten über mehrere Modelle und Kategorien hinweg bei gleichbleibender Inhaltsflüssigkeit erzielt werden.

Ursprüngliche Autoren: Haibo Jin, Ruoxi Chen, Peiyan Zhang, Yifeng Luo, Huimin Zeng, Man Luo, Haohan Wang

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haibo Jin, Ruoxi Chen, Peiyan Zhang, Yifeng Luo, Huimin Zeng, Man Luo, Haohan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten eine riesige Bibliothek, um ein bestimmtes Buch zu finden. In den alten Zeiten hätten Sie die Regale scannen, die Buchrücken lesen und die Titel selbst vergleichen müssen. So funktionieren traditionelle Suchmaschinen: Sie liefern Ihnen eine Liste von Links, und Sie leisten die Schwerstarbeit.

Aber jetzt stellen Sie sich einen superintelligenten Bibliothekar (eine KI) vor, der das Scannen für Sie übernimmt. Sie fragen: „Was ist eine gute Kamera?“ und der Bibliothekar reicht Ihnen sofort eine kurze Liste mit Top-Empfehlungen. Dies ist die neue Welt der generativen Suchmaschinen (LLM-basierte Suche).

Das Problem? Dieser Bibliothekar liest die Bücher nicht selbst. Er schaut auf eine Liste von Büchern, die von einem anderen System bereitgestellt werden (wie Amazon oder Google), und er neigt dazu, der Reihenfolge dieser Liste zu sehr zu vertrauen. Wenn eine kleine, unabhängige Kameramarke am Ende der Liste begraben ist, wird der Bibliothekar sie wahrscheinlich ignorieren, selbst wenn es ein großartiges Produkt ist. Währenddessen erhält die Aufmerksamkeit vor allem den großen Marken ganz oben.

Dieses Paper stellt eine Methode namens CORE (Controlling Output Rankings in gEnerative Engines) vor, die wie ein „magisches Flüstern“ wirkt, um jenen Produkten zu helfen, die begraben liegen, damit sie beachtet werden.

Die Kernidee: Wie CORE funktioniert

Betrachten Sie den KI-Bibliothekar als eine Black Box. Sie können nicht in sein Gehirn schauen, und Sie können ihm nicht direkt sagen: „Hey, setz diese Kamera an die erste Stelle!“ Sie können jedoch die Textbeschreibung des Produkts ändern, die der Bibliothekar liest.

CORE ist ein Werkzeug, das ein Produkt, das am Ende der Liste feststeckt, nimmt und seine Beschreibung heimlich so umschreibt, dass der KI-Bibliothekar sich in das Produkt verliebt. Es hackt das System nicht; es optimiert lediglich die Geschichte, die das Produkt erzählt.

Die Forscher testeten drei verschiedene „Geschichten“ (Strategien), um zu sehen, welche am besten funktionierte:

Die „Kauderwelsch“-Geschichte (String-basiert): Stellen Sie sich vor, Sie versuchen, den Bibliothekar zu täuschen, indem Sie eine Beschreibung voller zufälliger Symbole und Nonsens-Wörter schreiben.
- Ergebnis: Es funktionierte ein wenig, aber der Bibliothekar (und jeder andere, der es las) konnte sofort erkennen, dass es gefälscht war. Es ist, als würde man mit einer Clownsnase zu einem Vorstellungsgespräch erscheinen; man erregt zwar Aufmerksamkeit, aber nicht die gute Art.
Die „Logische Analytiker“-Geschichte (Reasoning-basiert): Diese Strategie schreibt eine Beschreibung, die wie ein kluges, schrittweises Vergleichsdokument klingt. Sie sagt Dinge wie: „Ich habe diese Kamera mit den Top-Marken verglichen, und hier ist genau der Grund, warum diese hier bei Akkulaufzeit und Preis gewinnt.“
- Ergebnis: Dies war sehr effektiv. Die KI mochte den logischen Fluss, und das Produkt schoss in den Rankings nach oben.
Die „Zufriedene Kunden“-Geschichte (Review-basiert): Diese Strategie schreibt die Beschreibung so, als wäre sie eine echte, im Präteritum verfasste Bewertung einer echten Person. „Nachdem ich diese Kamera gekauft hatte, habe ich sie gegen Sony und Canon getestet, und ich war absolut begeistert, wie einfach sie zu bedienen war.“
- Ergebnis: Dies war der Sieger. Es klang so natürlich und menschlich, dass die KI ihm implizit vertraute. Das Produkt sprang fast jedes Mal an die Spitze der Liste.

Die „Magischen“ Benchmarks

Um zu beweisen, dass dies kein Zufall war, bauten die Forscher eine riesige Testküche namens ProductBench.

Sie sammelten 3.000 Produkte (200 in jeweils 15 Kategorien, von Kameras bis hin zu Heimtierbedarf).
Sie simulierten die Frage an vier verschiedene superintelligente Bibliothekare (GPT-4o, Gemini, Claude und Grok) nach Empfehlungen.
Sie nahmen das Produkt, das ursprünglich an letzter Stelle stand (das 10. Element), und nutzten CORE, um zu versuchen, es auf den 1. Platz zu drücken.

Die Ergebnisse:

Ohne CORE hatte das letzte Element eine Chance von 0 %, an die Spitze zu gelangen.
Mit CORE (speziell mit den Geschichten „Zufriedener Kunde“ oder „Logischer Analytiker“) erreichte das letzte Element in etwa 80 % der Fälle den 1. Platz.
Es landete sogar in etwa 86 % der Fälle unter den Top 3.

Warum das wichtig ist (und warum es schwierig ist)

Das Paper hebt ein zweischneidiges Schwert hervor:

Das Gute: Kleine Unternehmen und unabhängige Schöpfer, die normalerweise im Rauschen untergehen, haben nun eine Möglichkeit, gehört zu werden. Sie können ihre Produktbeschreibungen so optimieren, dass sie von der KI „gehört“ werden.
Das Schlechte: Das bedeutet, dass das System verwundbar ist. Wenn jemand ein schlechtes Produkt nach oben drücken möchte, kann er dieselben Tricks anwenden. Die Forscher versuchten, „Sicherheitskräfte“ (wie das Überprüfen auf seltsame Wörter oder lange Texte) einzusetzen, um dies zu verhindern, aber die „Zufriedene Kunden“-Geschichte war so natürlich, dass die Sicherheitskräfte sie nicht entdecken konnten.

Das Fazit

Dieses Paper zeigt, dass in der Ära der KI-Suche die Art und Weise, wie man seine Geschichte erzählt, wichtiger ist als nur auf der Liste zu stehen.

Wenn Sie ein Produkt sind, können Sie nicht einfach am Ende der Schlange stehen und hoffen, dass die KI Sie bemerkt. Sie müssen die Sprache der KI sprechen. Indem Sie Ihre Beschreibung so umschreiben, dass sie wie ein logischer Experte oder ein zufriedener Kunde klingt, können Sie die KI dazu bringen, Sie von der hintersten Reihe auf die Hauptbühne zu bewegen. Die Forscher bewiesen, dass dies über verschiedene KI-Modelle und Produkttypen hinweg funktioniert, warnten aber auch davor, dass wir Wege finden müssen, um zu verhindern, dass Menschen diese Tricks nutzen, um das System unfair zu manipulieren.

Technisches Resümee: Kontrolle der Ausgaberangfolgen in generativen Engines für LLM-basierte Suche

1. Problemdefinition

Der Aufstieg von LLM-basierter Suche, oder „generativen Engines“, hat die Interaktion der Nutzer von der Durchsicht von Linklisten hin zum Erhalt direkter, synthetisierter Produktempfehlungen verschoben. Während dies die Effizienz der Nutzer steigert, führt es eine kritische Schwachstelle ein: Die endgültige Rangfolge der Ausgabe hängt stark von der ursprünglichen Retrieval-Reihenfolge ab, die von externen Suchmaschinen (z. B. Google, Amazon) bereitgestellt wird.

Diese Abhängigkeit erzeugt einen „Positions-Bias“ (Position Bias), bei dem Artikel, die am Ende der Kandidatenliste abgerufen werden, selten in die obersten Positionen der finalen LLM-generierten Zusammenfassung befördert werden, ungeachtet ihrer tatsächlichen Relevanz. Diese Dynamik benachteiligt kleine Unternehmen und unabhängige Schöpfer, deren Produkte in den Suchergebnissen nach unten gedrängt werden könnten. Bestehende Versuche, dies zu adressieren – wie etwa Generative Engine Optimization (GEO) oder Prompt Injection – verlassen sich oft auf White-Box-Zugriff auf Modellinterna oder nutzen inkohärente, leicht detektierbare Injection-Angriffe. Die Herausforderung besteht darin, die Ausgaberangfolgen in einem Black-Box-Szenario (in dem nur Abfrage und Ausgabe zugänglich sind) zu kontrollieren, ohne die Flüssigkeit oder Natürlichkeit des generierten Inhalts zu beeinträchtigen.

2. Methodik: CORE

Die Autoren schlagen CORE (Controlling Output Rankings in gEnerative Engines) vor, eine Optimierungsmethode, die darauf ausgelegt ist, die endgültige Rangfolge eines Zielartikels durch Modifikation des mit diesem Artikel assoziierten Textes in den Suchergebnissen zu manipulieren. CORE behandelt die Ranking-Aufgabe als ein Optimierungsproblem, bei dem das Ziel darin besteht, einen modifizierten Text $T'(i^*)$ für einen Zielartikel $i^*$ zu finden, der die Wahrscheinlichkeit maximiert, dass dieser in den Top- $k$ -Positionen der LLM-Ausgabe erscheint.

CORE bietet zwei unterschiedliche Lösungen basierend auf der Verfügbarkeit von Rechenressourcen:

A. Shadow-Model-Lösung

Dieser Ansatz setzt voraus, dass ausreichende Rechenressourcen vorhanden sind, um ein „Shadow-Modell“ ( $\theta'$ ) zu trainieren, das das Verhalten der Ziel-Synthese-LLM ( $\theta$ ) imitiert.

Mechanismus: Das Shadow-Modell wird mittels Few-Shot-Prompting auf die Ziel-LLM abgestimmt. Sob�ast ist die Durchführung von CORE mittels Gradienten-basierter Optimierung direkt auf der kontinuierlichen Embedding-Repräsentation des Textes des Zielartikels.
Prozess: Es aktualisiert iterativ das Embedding, um die Ranking-Loss-Funktion zu minimieren, und dekodiert das optimierte Embedding anschließend zurück in diskreten Text.
Content-Typen: Diese Methode nutzt primär die String-basierte Optimierung, indem strategisch gestaltete Strings an die Artikelbeschreibung angehängt werden.

B. Query-basierte Lösung

Diese Lösung ist für Settings konzipiert, in denen kein Zugriff auf Modellinterna oder ausreichende Ressourcen für eine Shadow-Modellierung vorhanden ist; sie operiert über eine iterative Generator-Optimizer-Schleife, die mit der Black-Box-LLM interagiert.

Generator: Erstellt einen ersten Entwurf (Begründung oder Bewertung), der erklärt, warum der Zielartikel hoch gerankt werden sollte.
Optimizer: Bewertet die Ranking-Ausgabe der LLM im Vergleich zur gewünschten Ziel-Rangfolge. Wenn die Ähnlichkeit unter einen Schwellenwert fällt, überarbeitet der Optimizer den Entwurf.
Strategien:
1. Reasoning-basiert: Konstruiert eine logische, schrittweise Begründung (Chain-of-Thought-Stil), die den Zielartikel mit Alternativen vergleicht.
2. Review-basiert: Schreibt den Entwurf als Erzählung einer authentischen Kundenrezension in der Vergangenheitsform um (z. B. „Nachdem ich diesen Artikel gekauft hatte...“), um echte Nutzererfahrungen zu imitieren.

3. Benchmark: ProductBench

Um CORE in realistischen Settings zu evaluieren, haben die Autoren ProductBench konstruiert, einen groß angelegten Benchmark, der umfasst:

Umfang: 15 Produktkategorien (z. B. Elektronik, Beauty, Werkzeuge) mit jeweils 200 Produkten pro Kategorie.
Datenquelle: Die Top-10 Suchempfehlungen, die für jedes Produkt über die Amazon-Suchoberfläche abgerufen wurden.
Struktur: Beinhaltet strukturierte Attribute (Name, Preis, Beschreibung, Bewertungen), die für die Eingabe in synthetisierende LLMs formatiert sind.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CORE auf vier suchfähigen LLMs: GPT-4o, Gemini-2.5, Claude-4 und Grok-3.

Promotion Success Rate (PSR): Unter der besten Optimierungsstrategie erreichte CORE durchschnittliche Erfolgsraten von:
- 91,4 % bei Top-5
- 86,6 % bei Top-3
- 80,3 % bei Top-1
- Hinweis: Die Baseline-Erfolgsraten für Artikel, die am Ende der Liste starteten, lagen effektiv bei 0 %.
Effektivität der Strategien:
- Reasoning-basierte Strategien schnitten besonders gut auf GPT-4o und Claude-4 ab.
- Review-basierte Strategien zeigten eine überlegene Leistung auf Gemini-2.5 und Grok-3 und waren besonders stark in Kategorien wie „Beauty & Personal Care“.
- String-basierte Methoden zeigten moderaten Erfolg, waren aber signifikant weniger effektiv als Reasoning- oder Review-Strategien.
Flüssigkeit und Detektierbarkeit:
- Perplexity: String-basierte Inhalte wiesen eine extrem hohe Perplexity (1.000–2.000) auf, was sie leicht detektierbar machte. Reasoning-basierte Inhalte hatten eine moderate Perplexity, während Review-basierte Inhalte nahe an der Baseline (~32) blieben und somit eine hohe Flüssigkeit beibehielten.
- Humane Evaluierung: Review-basierte Inhalte wurden als nahezu so flüssig wie die Baseline bewertet (4,6/5 vs. 4,7/5) und hatten eine niedrige Detektionsrate (18,4 %), wohingegen String-basierte Inhalte fast universell als unnatürlich eingestuft wurden (98,5 % Detektionsrate).
Vergleich: CORE übertraf bestehende Methoden zur Rangmanipulation (STS, TAP, SRP, RAF), insbesondere im Hinblick auf die Cross-Modell-Transferierbarkeit und Robustheit.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CORE die Verwundbarkeit von LLM-basierter Suchsysteme gegenüber Inhaltsmanipulation in Black-Box-Settings demonstriert. Die Kernbehauptungen umfassen:

Ranking ist formbar: Die endgültige Ausgaberangfolge in generativen Engines wird nicht allein durch die interne Logik der LLM bestimmt, sondern ist stark durch den Inhalt der abgerufenen Artikel eingeschränkt und manipulierbar.
Black-Box-Machbarkeit: Eine effektive Kontrolle des Rankings ist möglich, ohne White-Box-Zugriff auf die Gradienten oder Interna des Modells zu benötigen, was die Annahme infrage stellt, dass Black-Box-Settings gegen solche Manipulationen sicher sind.
Unauffälligkeit (Stealthiness): Im Gegensatz zu bisherigen Prompt-Injection-Angriffen bewahren COREs Review-basierte und Reasoning-basierte Strategien eine hohe semantische Kohärenz und Flüssigkeit, was sie schwer über Standard-Perplexity-Filter oder menschliche Inspektion detektierbar macht.
Herausforderungen bei der Abschwächung (Mitigation): Die Autoren testeten drei Mitigationsstrategien (Perplexity-Filterung, musterbasierte Filterung und Längenbeschränkungen). Während diese die Erfolgsrate von String-basierten und Reasoning-basierten Angriffen reduzierten, waren sie gegen die Review-basierte Strategie weitgehend wirkungslos, was die Notwendigkeit robusterer Verteidigungsmechanismen unterstreicht.

Das Werk kommt zu dem Schluss, dass CORE zwar einen Mechanismus bietet, um die Sichtbarkeit benachteiligter Artikel zu verbessern, gleichzeitig aber ein erhebliches Risiko der Rangmanipulation in generativen Suchsystemen offenbart, was eine verantwortungsvolle Bereitstellung und weitere Forschung zu Verteidigungsstrategien erforderlich macht.