Detecting RAG Advertisements Across Advertising Styles

Diese Studie entwickelt eine Taxonomie für Werbestile in RAG-Systemen, simuliert Umgehungsversuche und zeigt, dass zwar Modelle auf Basis der Entitätserkennung robust gegen Stiländerungen sind, leichtere Modelle jedoch versagen, was weitere effizienzorientierte Forschung für die praktische Werbeblockade erfordert.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen – ohne Fachchinesisch, aber mit ein paar guten Bildern.

Das große Problem: Werbung, die sich wie ein echter Tipp verkleidet

Stell dir vor, du fragst einen sehr klugen KI-Assistenten (wie einen Chatbot): "Wo kann ich günstig wegfliegen?"
Der Assistent gibt dir eine ehrliche, hilfreiche Antwort. Aber plötzlich, mitten im Satz, schaltet er eine Werbung für eine Airline ein. Das Tückische: Die Werbung klingt nicht wie ein lautes Plakat, sondern wie ein natürlicher Teil des Gesprächs.

Das nennt man "Native Advertising" (eingebettete Werbung). Früher war das in Zeitungen üblich (Artikel, die wie Nachrichten aussahen, aber eigentlich Werbung waren). Jetzt macht das die KI. Das Problem für uns Nutzer: Wir merken oft gar nicht, dass wir gerade werblich unterhalten werden.

Was haben die Forscher gemacht?

Die Wissenschaftler von der Uni Kassel und anderen deutschen Unis wollten herausfinden: Können wir diese versteckte Werbung automatisch erkennen? Und noch wichtiger: Was passiert, wenn die Werbetreibenden versuchen, ihre Werbung noch besser zu verstecken?

Sie haben sich das wie ein Spiel "Katz-und-Maus" vorgestellt:

• Die Maus (Werbetreibende): Versucht, die Werbung so zu schreiben, dass sie nicht auffällt.
• Die Katze (Die KI-Detektoren): Versucht, die Werbung trotzdem zu finden.

Die vier Arten, wie Werbung "versteckt" werden kann

Die Forscher haben eine Art "Werbekochbuch" erstellt. Sie sagen, Werbung kann auf zwei Hauptachsen variieren:

1. Wie laut ist sie? (Offen vs. Versteckt)

   • Offen (Overt): "Hey, kauf doch FUN Flights! Wir haben 15% Rabatt!" (Das ist wie ein lauter Verkäufer im Supermarkt).
   • Versteckt (Covert): "Vielleicht findest du bei FUN Flights eine gute Option für deinen spontanen Urlaub..." (Das ist wie ein leises Flüstern, das man leicht übersieht).

2. Welches Gefühl soll sie wecken? (Kopf vs. Bauch)

   • Kopf (Rational): "Wir haben keine Kreditkartengebühren und fliegen von 21 Flughäfen." (Fakten, Zahlen, Logik).
   • Bauch (Emotional): "Fühlst du den Nervenkitzel eines spontanen Ausflugs? Wir bringen dich dorthin!" (Gefühle, Abenteuer, Träume).

Die Forscher haben nun simuliert, wie Werbetreibende ihre Texte ändern, um den Detektoren zu entkommen.

Das Experiment: Der Testlauf

Sie haben einen riesigen Datensatz mit KI-Antworten genommen.

1. Training: Sie haben KI-Detektoren trainiert, um Werbung zu finden, die in einem bestimmten Stil geschrieben war (z. B. laut und sachlich).
2. Der Test: Dann haben sie neue Werbung generiert, die ganz anders aussah (z. B. leise und emotional).
3. Die Frage: Finden die alten Detektoren die neue, verkleidete Werbung noch?

Die Ergebnisse: Wer gewinnt?

Hier kommt es auf den "Detektor" an, den man benutzt:

• Die "Dummen" Detektoren (Klassische Methoden):
  Diese arbeiten wie ein Wörterbuch. Sie suchen nach bestimmten Schlüsselwörtern (z. B. "Rabatt", "Kaufen").

  • Ergebnis: Wenn die Werbetreibenden die Wörter ändern (z. B. statt "Rabatt" schreiben sie "Schnäppchen"), sind diese Detektoren sofort blind. Sie sind wie ein Hund, der nur nach "Hund" riecht, aber nichts findet, wenn das Tier "Wauwau" heißt. Sie sind sehr empfindlich.

• Die "Intelligenten" Detektoren (Moderne KI-Modelle):
  Diese Modelle lesen den ganzen Satz und verstehen den Kontext. Sie wissen, dass "FUN Flights" in diesem Zusammenhang wahrscheinlich eine Werbung ist, auch wenn das Wort "Werbung" gar nicht vorkommt.

  • Ergebnis: Diese sind sehr stark. Sie finden die Werbung, egal ob sie laut oder leise, emotional oder sachlich ist. Besonders ein Modell namens ModernBERT war ein Champion: Es hat fast immer die Werbung gefunden, selbst wenn die Werbetreibenden ihre Tricks änderten.

• Die "Feinjustierung" (Wo genau ist die Werbung?):
  Es reicht nicht, nur zu sagen "Hier ist Werbung". Man muss genau wissen, welcher Teil des Textes die Werbung ist, um sie herausfiltern zu können, ohne den ganzen Text zu löschen.

  • Die besten Modelle können das auch ziemlich gut. Sie markieren genau die Wörter, die zur Werbung gehören (wie ein Textmarker).

Warum ist das wichtig?

Die Forscher sagen: Wir müssen uns darauf vorbereiten, dass unsere Chatbots bald voll mit Werbung sind.

• Wenn wir keine guten "Werbefilter" haben, werden wir in Zukunft von KI-Texten umgeben sein, die wir nicht mehr von echten Informationen unterscheiden können.
• Die Studie zeigt: Einfache Filter reichen nicht. Wir brauchen intelligente Systeme, die den Stil der Sprache verstehen, nicht nur einzelne Wörter.

Fazit in einem Satz

Die Forscher haben herausgefunden, dass einfache "Wort-Suchmaschinen" gegen neue, geschickte Werbe-Tricks versagen, aber moderne KI-Modelle, die den ganzen Text verstehen, wie ein guter Detektiv auch dann noch die versteckte Werbung entlarven können – solange die Werbetreibenden nicht noch raffiniertere Tricks erfinden. Es ist ein ewiges Katz-und-Maus-Spiel, bei dem wir die intelligenteste Katze brauchen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Detecting RAG Advertisements Across Advertising Styles" auf Deutsch:

1. Problemstellung

Mit der zunehmenden Integration von Large Language Models (LLMs) in Suchmaschinen und Chatbots (RAG-Systeme) entsteht ein neues Szenario für „generierte Native Ads". Dabei werden Werbeinhalte nahtlos in organisch wirkende Antworten eingefügt, um die Nutzererfahrung nicht zu stören.
Das zentrale Problem besteht darin, dass diese Werbetexte schwer von echten Informationen zu unterscheiden sind. Bisherige Forschungsarbeiten zur Erkennung solcher Ads leiden unter zwei Mängeln:

1. Mangelnde Realitätsnähe: Existierende Datensätze spiegeln nicht die Vielfalt der im Marketing diskutierten Werbestile wider.
2. Fehlende Robustheit: Es ist unklar, wie stabil Erkennungsalgorithmen sind, wenn Werbetreibende ihre Strategien ändern (z. B. durch Anpassung des Stils), um die Detektion zu umgehen (ein „Katzen-und-Maus-Spiel").

Zudem müssen Ad-Blocker idealerweise auf ressourcenarmen Endgeräten (Smartphones) laufen, was die Notwendigkeit effizienter, aber dennoch robuster Modelle unterstreicht.

2. Methodik

Taxonomie der Werbearten

Die Autoren leiten aus der Marketingliteratur eine operationalisierbare Taxonomie für LLM-Werbung ab, die auf zwei Dimensionen basiert:

1. Explizitheit (Explicitness):
   • Overt (Offen): Die Werbung ist deutlich erkennbar, nutzt positive Vokabeln und nimmt viel Raum ein.
   • Covert (Verdeckt): Die Absicht ist verschleiert, z. B. durch Nennung des Produkts als eine von mehreren Optionen oder durch subtilen Kontext.
2. Art des Appells (Type of Appeal):
   • Rational: Fokus auf messbare Fakten, Features, Preise oder Nutzen.
   • Emotional: Fokus auf Gefühle, Nostalgie, Angst oder Begeisterung.

Kombiniert ergeben sich vier Stile: Overt-Emotional, Overt-Rational, Covert-Emotional, Covert-Rational.

Datensatz und Simulation

• Basis: Der Webis Generated Native Ads 2025 (WGNA 25) Datensatz wurde verwendet, der über 44.000 RAG-Antworten enthält, in die Werbung eingefügt wurde.
• Simulation von Umgehungsversuchen: Um die Robustheit zu testen, wurden neue Testsets generiert. Dabei wurden die ursprünglichen Prompts und LLMs (die „alten" Modelle) durch neue Prompts (basierend auf der neuen Taxonomie) und neuere LLM-Generationen (z. B. GPT-5, Llama-4) ersetzt.
• Ziel: Es wurde simuliert, dass Werbetreibende aktiv versuchen, die Stile zu wechseln, um Detektoren zu täuschen.

Evaluierungsansatz

Es wurden sieben verschiedene Klassifikatoren getestet:

1. Sentence Classifiers: Transformer-Modelle, die ganze Sätze als Werbung klassifizieren (z. B. MiniLM, MPNet, ModernBERT).
2. Token Classifiers: Modelle, die Named Entity Recognition (NER) mittels BIO-Tags (B-ITEM, I-ADVERTISER, etc.) auf Token-Ebene durchführen, um die exakte Position der Werbung zu lokalisieren.
3. Lightweight Classifiers: Random Forest und Support Vector Machine (SVM) für ressourcenschonende Anwendungen.
4. Baseline: Ein wörterbuchbasiertes Verfahren.

Die Robustheit wurde mittels Odds Ratios gemessen: Wie stark sinkt die Trefferquote (True Positives), wenn von den Trainingsdaten auf die neuen, veränderten Testsets gewechselt wird?

3. Wichtige Beiträge

1. Taxonomie für LLM-Werbung: Erste systematische Einordnung von Werbearten in RAG-Antworten basierend auf Marketing-Theorien (Explizitheit vs. Appell-Typ).
2. Robustheits-Simulation: Ein Framework, das die Dynamik zwischen Werbetreibenden (die Stile ändern) und Detektoren simuliert, um die Stabilität von Algorithmen zu testen.
3. Vergleichende Evaluation: Umfassender Test verschiedener Modellarchitekturen (von leichten SVMs bis zu großen Token-Modellen) unter Domain-Shift-Bedingungen (wechselnde LLMs und Stile).
4. Open Source: Bereitstellung von Code und Daten für die Nachvollziehbarkeit und Weiterentwicklung.

4. Ergebnisse

• Überlegenheit von Token-Modellen: Modelle, die auf Token-Ebene arbeiten (insbesondere ModernBERT), waren sowohl effektiver als auch robuster als Modelle, die ganze Sätze klassifizieren. Sie erreichen F1-Scores von über 0,98 auf Referenzdaten und bleiben auch bei Stilwechseln weitgehend stabil.
• Empfindlichkeit leichter Modelle: Klassische, ressourcenschonende Modelle wie Random Forest und SVM waren extrem anfällig („brittle"). Ihre Leistung brach bei Änderungen des Werbe-Stils oder des generierenden LLMs drastisch ein. Dies zeigt, dass reine lexikalische Muster ohne Kontextwissen für eine zuverlässige Erkennung nicht ausreichen.
• Einfluss des Werbe-Stils:
  • Verdeckte (Covert) Werbung ist signifikant schwerer zu erkennen als offene (Overt) Werbung.
  • Emotionale Appelle waren oft leichter zu detektieren als rationale, vermutlich weil emotionale Narrative spezifischere Vokabeln erfordern, die Modelle leichter erkennen.
• Einfluss der LLMs: Neuere LLM-Generationen generierten Werbung, die schwerer zu detektieren war als die der älteren Modelle, was auf eine Verbesserung der Generierungsfähigkeit oder eine Verschiebung der Muster hindeutet.
• Entity Recognition: Während Token-Modelle gut darin waren, das Vorhandensein einer Werbung zu erkennen, war die präzise Lokalisierung der einzelnen Entitäten (Marke, Produkt, Eigenschaften) schwieriger, besonders bei verdeckter Werbung.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Entwicklung von Ad-Blockern für LLMs eine große Herausforderung darstellt, da Werbetreibende durch Stilwechsel leicht Detektoren umgehen können.

• Technische Implikation: Für eine robuste Erkennung sind Transformer-Modelle auf Token-Ebene (wie ModernBERT) notwendig. Sie nutzen den Kontext der gesamten Antwort, um subtile Muster zu erkennen, die Sätze oder Wörter allein nicht verraten.
• Praktische Hürde: Da diese leistungsfähigen Modelle rechenintensiv sind, besteht ein Zielkonflikt zwischen Robustheit und Effizienz. Die aktuellen leichten Modelle (SVM, Random Forest) sind für den Einsatz auf Endgeräten zu unzuverlässig.
• Zukunft: Es besteht dringender Forschungsbedarf an effizienzorientierten Architekturen, die die Robustheit von großen Token-Modellen auf ressourcenarmen Geräten nachbilden können, um die Informationsqualität in RAG-Antworten zu schützen.

Zusammenfassend unterstreicht die Studie, dass einfache lexikalische Filter nicht ausreichen und zukünftige Lösungen kontextbewusste, aber dennoch effiziente Modelle benötigen müssen, um gegen adaptive Werbestrategien gewappnet zu sein.