How Auditing Methodologies Can Impact Our Understanding of YouTube's Recommendation Systems

Diese Studie untersucht, wie methodische Entscheidungen bei der Auditierung von YouTube-Empfehlungsalgorithmen die Genauigkeit der Ergebnisse beeinflussen, und identifiziert kosteneffiziente Konfigurationen, die ohne Verlust an Validität durchgeführt werden können.

Sarmad Chandio, Daniyal Pirwani Dar, Rishab Nithyanand

Veröffentlicht 2026-03-10
📖 5 Min. Lesezeit🧠 Tiefgang

Each language version is independently generated for its own context, not a direct translation.

Stellen Sie sich vor, YouTube ist ein riesiger, unsichtbarer Koch, der Ihnen jeden Tag genau das Gericht serviert, das er denkt, dass Sie essen möchten. Dieser Koch (der Algorithmus) schaut sich an, was Sie sich schon angesehen haben, und sagt dann: „Ah, du magst Pizza, also hier ist noch eine Pizza!" oder vielleicht: „Du hast heute nur Spinat gegessen, hier ist ein Salat."

Das Problem ist: Niemand weiß genau, wie dieser Koch entscheidet. Um das herauszufinden, haben Forscher wie Detektive gearbeitet. Sie haben sich „Sockenpuppen" (fiktive Nutzer) erschaffen, die sich so verhalten, als wären sie echte Menschen, um zu sehen, was der Koch ihnen serviert.

Aber hier kommt das große „Aber": Wie diese Detektive ihre Sockenpuppen gebaut haben, hat einen riesigen Einfluss darauf, was sie am Ende sehen. Das ist wie beim Backen eines Kuchens: Wenn Sie die Temperatur des Ofens oder die Menge an Zucker ändern, schmeckt das Ergebnis ganz anders – selbst wenn Sie denselben Kuchen backen wollen.

Dieses Papier untersucht genau diese „Back-Regeln" bei YouTube und zeigt uns, wie man den Ofen richtig einstellt, um die Wahrheit zu finden, ohne sich die Finger zu verbrennen (oder zu viel Geld auszugeben).

Hier ist die einfache Zusammenfassung der wichtigsten Entdeckungen:

1. Der „Letzte Bissen" ist wichtiger als das ganze Menü (Der „Recency Bias")

Stellen Sie sich vor, Sie haben eine Woche lang nur Pizza gegessen (das ist Ihre „Trainingsphase"). Dann, ganz am Ende, essen Sie einen riesigen Eisbecher (das ist der „Seed"-Video, mit dem Sie starten).

  • Die Entdeckung: Der Koch ignoriert fast Ihre ganze Pizza-Woche und serviert Ihnen sofort Eis!
  • Was das bedeutet: Das allerletzte Video, das ein Nutzer (oder eine Sockenpuppe) ansieht, hat einen viel stärkeren Einfluss auf die nächsten Empfehlungen als alles, was davor passiert ist. Wenn Forscher also einen anderen Startpunkt wählen, sehen sie völlig andere Ergebnisse. Es ist, als würde man den Koch fragen: „Was magst du?" und er antwortet nur auf das, was Sie gerade in der Hand halten, nicht auf das, was Sie gestern gegessen haben.

2. Man braucht keine echte Identität (Geld sparen)

Um YouTube zu testen, müssen Forscher viele Accounts erstellen. Das ist teuer und nervig, weil YouTube oft Handynummern zur Bestätigung verlangt.

  • Die Entdeckung: Es ist völlig egal, ob die Sockenpuppe mit einem echten, neuen YouTube-Account angemeldet ist oder nur mit einem Browser, der sich „erinnert" (Cookies), dass sie da war.
  • Die Analogie: Es ist wie ein Restaurant. Egal, ob Sie einen echten Ausweis vorzeigen oder nur sagen „Ich bin der Typ von der letzten Woche, den Sie kennen", der Kellner (YouTube) behandelt Sie fast identisch.
  • Der Vorteil: Forscher müssen nicht mehr Tausende von echten Accounts kaufen und verifizieren. Sie können einfach mit Browser-Cookies arbeiten und sparen dabei viel Geld und Nerven, ohne dass die Ergebnisse schlechter werden.

3. Man muss den Film nicht zu Ende schauen (Rechenleistung sparen)

Früher dachten Forscher, sie müssten jedes Video, das ihre Sockenpuppe sieht, bis zum Ende ansehen, damit YouTube merkt: „Ah, der mag das."

  • Die Entdeckung: YouTube braucht gar nicht, dass Sie den ganzen Film sehen. Sobald Sie etwa 30 Sekunden geschaut haben, denkt YouTube: „Okay, er hat das gesehen."
  • Die Analogie: Stellen Sie sich vor, Sie gehen in ein Kino. Wenn Sie nur 30 Minuten im Kino sitzen und dann gehen, zählt der Kinobesuch trotzdem als „besucht". Sie müssen nicht bis zum Abspann warten.
  • Der Vorteil: Forscher müssen keine riesigen Computerfarmen mehr anstellen, um Tausende von Stunden Videomaterial zu „schauen". Ein kurzer Blick reicht völlig aus. Das spart enorme Rechenleistung.

4. Klicks sind nicht nötig (Technik sparen)

Manche Forscher programmieren ihre Roboter so, dass sie tatsächlich mit der Maus auf die Videovorschläge klicken.

  • Die Entdeckung: Es macht keinen Unterschied, ob der Roboter wirklich klickt oder nur die Adresse des Videos im Hintergrund lädt.
  • Die Analogie: Es ist egal, ob Sie das Menü im Restaurant laut vorlesen oder nur auf den Teller zeigen. Der Kellner versteht beides.
  • Der Vorteil: Klicks zu simulieren ist technisch schwierig und fehleranfällig. Man kann es sich sparen und einfach die Links laden.

5. Je tiefer man gräbt, desto anders wird es (Die Tiefe zählt)

Wenn man nur die ersten Vorschläge auf der Startseite schaut, sieht man oft populäre, gemischte Inhalte. Wenn man aber 10 Schritte tief in die Vorschläge klickt (Tiefe 10), sieht man oft sehr spezifische, manchmal extreme Inhalte.

  • Die Entdeckung: Die Ergebnisse hängen stark davon ab, wie tief man in die Vorschläge hineinklickt.
  • Die Analogie: Wenn Sie in einem Wald nur die Bäume am Wegrand ansehen, sehen Sie eine schöne, gemischte Landschaft. Wenn Sie aber 100 Meter tief in den Wald gehen, finden Sie vielleicht nur noch einen bestimmten Pilz.
  • Der Rat: Forscher müssen immer sagen: „Wir haben bis zur Tiefe X geschaut." Sonst vergleichen sie Äpfel mit Birnen.

Fazit für alle

Dieses Papier sagt uns: Die Art und Weise, wie wir YouTube testen, ist genauso wichtig wie das Ergebnis selbst.

Viele frühere Studien haben sich widersprochen (die einen sagten „YouTube macht uns radikal", die anderen „YouTube macht uns normal"). Der Grund war oft nicht, dass YouTube sich geändert hat, sondern dass die Forscher unterschiedliche „Rezepte" für ihre Tests verwendet haben.

Die gute Nachricht: Wir können jetzt viel schlauer und günstiger forschen. Wir müssen keine teuren Accounts mehr kaufen, keine langen Filme ansehen und keine komplizierten Klicks programmieren. Wir müssen uns nur bewusst machen, dass der „letzte Bissen" (das letzte Video) den Koch am meisten beeinflusst und dass wir genau sagen müssen, wie tief wir in den Wald gegangen sind.

So können wir endlich verstehen, wie der unsichtbare Koch wirklich tickt, ohne uns dabei selbst zu verstricken.