Divergent Recommendations, Convergent Diagnoses: Cross-Provider Failure-Mode Convergence in AI Commercial Recommendation
Obwohl eine signifikante Divergenz bei spezifischen Produktempfehlungen zwischen ChatGPT und Claude besteht, zeigt die Studie, dass diese KI-Anbieter eine nahezu perfekte Übereinstimmung (95,1 %) bei der Diagnose der zugrunde liegenden Gründe für gemeinsame Empfehlungsfehler aufweisen, was darauf hindeutet, dass Optimierungsstrategien für Top-Marken zwar anbieterspezifisch sein müssen, ein einheitlicher Ansatz zur Adressierung der Grundursachen jedoch für Long-Tail-Marken hocheffektiv ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage: Stimmen sich KI-Assistenten überein?
Stellen Sie sich vor, Sie sind eine berühmte Marke (wie Nike oder eine lokale Bäckerei). Sie möchten, dass Ihre Produkte empfohlen werden, wenn Menschen KI-Assistenten wie ChatGPT (OpenAI) oder Claude (Anthropic) um Rat fragen.
Die große Frage, die sich die Autoren gestellt haben, lautet: Wenn ich mein Marketing für ChatGPT optimiere, funktioniert es dann automatisch auch für Claude? Oder brauche ich zwei völlig unterschiedliche Strategien?
Um dies herauszufinden, führten sie ein massives Experiment durch. Sie stellten beiden KIs dieselben 215 Fragen zu Produkten und beobachteten, was sie empfahlen.
Die erste Erkenntnis: Sie wählen unterschiedliche Gewinner
Die Analogie: Stellen Sie sich zwei verschiedene Food-Kritiker vor (Koch A und Koch B), die eine Speisekarte mit 500 Gerichten bewerten.
- Das Ergebnis: Wenn sie aufgefordert werden, ihre Top-10-Gerichte auszuwählen, stimmten Koch A und Koch B nur über etwa 3 oder 4 Gerichte überein. Die anderen 6 oder 7 Gerichte waren völlig unterschiedlich.
- Die Daten der Arbeit: Die beiden KIs stimmten nur zu etwa 35 % der Zeit darüber überein, welche Marken sie empfehlen sollten. Wenn man dieselbe Frage zweimal derselben KI stellt, stimmt sie zu 50–60 % mit sich selbst überein. Aber wenn man zu einer anderen KI wechselt, ändern sich die Empfehlungen signifikant.
Fazit: Wenn Sie eine große Marke sind, können Sie nicht davon ausgehen, dass das, was für eine KI funktioniert, auch für die andere funktioniert. Sie haben einen unterschiedlichen „Geschmack“.
Die zweite Erkenntnis: Sie sind sich darüber einig, warum sie scheitern
Hier wird es interessant. Die Forscher schauten nicht nur darauf, was die KIs empfahlen; sie untersuchten, was sie übersehen hatten.
Sie klassifizierten „fehlende“ Marken in drei Arten von Fehlern:
- „Noch nie davon gehört“ (Auffindbarkeit/Discoverability): Die KI hat die Marke in ihren Suchergebnissen gar nicht erst gefunden. Es ist wie ein Bibliothekar, der nicht einmal weiß, dass das Buch existiert.
- „Gesehen, aber nicht gefallen“ (Überzeugungskraft/Compellingness): Die KI hat die Marke gefunden, sie aber nicht in der endgültigen Antwort erwähnt.
- „Erwähnt, aber nicht ausgewählt“ (Positionierung/Positioning): Die KI hat die Marke erwähnt, sie aber nicht als Top-Empfehlung ausgewählt.
Die Analogie: Stellen Sie sich vor, die beiden Kritiker werden gefragt, welches Restaurant sie empfehlen würden.
- Wenn sie unterschiedliche Orte empfehlen, streiten sie über den Geschmack.
- Aber wenn sie beide versagen, einen bestimmten lokalen Ort zu empfehlen, warum haben sie versagt?
Das Ergebnis: Wenn beide KIs es versäumten, eine Marke zu empfehlen, taten sie dies fast immer aus dem exakt gleichen Grund (9 in 95 % der Fälle).
- Wenn beide eine Marke übersehen haben, lag es meistens daran, dass keine von beiden sie finden konnte (Auffindbarkeit).
- Sie waren sich nicht uneinig darüber, warum sie sie übersehen hatten; sie haben beide aus demselben Grund versagt.
Der „Long Tail“-Effekt:
Diese Übereinstimmung wird noch stärker bei kleineren, weniger bekannten Marken (dem „Long Tail“).
- Berühmte Marken (Top-Schicht): Die KIs waren häufiger uneinig darüber, warum sie sie übersehen haben (vielleicht hat eine sie gesehen, aber nicht gemocht, während die andere sie gar nicht erst gesehen hat).
- Obskure Marken (Long Tail): Die KIs stimmten zu 99,6 % der Zeit darin überein, dass sie die Marke schlichtweg nicht finden konnten.
Das „Wie“ sie denken: Unterschiedliche Wege zum selben Ziel
Die Arbeit untersuchte auch, wie die KIs ihre Entscheidungen trafen.
- OpenAI (ChatGPT): Ist wie ein Forscher. Er geht fast immer erst im Internet auf die Suche, liest die Ergebnisse und trifft dann eine Empfehlung. Er verlässt sich stark auf das, was er in der Suche findet.
- Anthropic (Claude): Ist wie ein gebildeter Professor. Er greift oft auf das zurück, was er bereits aus seinen Trainingsdaten weiß (sein „Gedächtnis“). Er empfiehlt in 43–52 % der Fälle Marken, ohne überhaupt im Web suchen zu müssen.
Die Analogie:
- ChatGPT ist wie ein Schüler, der ein Lehrbuch aufschlägt, bevor er eine Frage beantwortet.
- Claude ist wie ein Schüler, der aus dem Gedächtnis antwortet und das Lehrbuch nur aufschlägt, wenn er sich unsicher ist.
Obwohl sie unterschiedliche Methoden verwenden (Suche vs. Gedächtnis), verpassen sie dieselben obskuren Marken, weil diese Marken weder in den Lehrbüchern noch auf den Webseiten stehen, die sie durchsuchen.
Praktische Ratschläge für Marken
Basierend auf diesen Erkenntnissen schlägt die Arbeit eine spezifische Strategie für Marken vor:
Für kleine, obskure Marken (den Long Tail):
- Das Problem: Die KIs können Sie nicht finden.
- Die Lösung: Sie benötigen nur eine Strategie. Wenn Sie Ihre Marke im Netz leichter auffindbar machen (besseres SEO, mehr Artikel), werden beide KIs beginnen, Sie zu empfehlen. Sie müssen Ihre Botschaft nicht speziell für ChatGPT vs. Claude anpassen; lösen Sie einfach das Problem der „Auffindbarkeit“, und das löst das Problem überall.
Für große, berühmte Marken (die Top-Schicht):
- Das Problem: Die KIs können Sie finden, aber sie könnten Sie aus unterschiedlichen Gründen nicht empfehlen (vielleicht findet eine Ihre Inhalte langweilig, die andere findet Ihre Positionierung schwach).
- Die Lösung: Sie benötigen zwei verschiedene Strategien. Was funktioniert, um ChatGPT dazu zu bringen, Sie zu empfehlen, funktioniert vielleicht nicht für Claude. Sie müssen sie wie unterschiedliche Zielgruppen behandeln.
Zusammenfassung
- Empfehlungen: Die KIs wählen unterschiedliche Gewinner (sie sind uneinig).
- Fehlgeschlagene Empfehlungen: Wenn beide eine Marke übersehen, tun sie dies meist aus demselben Grund (sie sind sich einig).
- Die Lösung: Wenn Sie eine kleine Marke sind, korrigieren Sie Ihre „Sichtbarkeit“ einmal, und das hilft überall. Wenn Sie eine große Marke sind, müssen Sie Ihre Botschaft möglicherweise für jede spezifische KI anpassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.