How Verification Mechanisms Alter Cultural Signals in Employer Reviews

Durch die Analyse von über 300.000 Arbeitgeberbewertungen mittels des Competing-Values-Frameworks und CultureBERT zeigt diese Studie, dass die Verifizierung der Beschäftigung auf Plattformen wie Blind die Darstellung der Unternehmenskultur im Vergleich zu anonymen Plattformen wie Glassdoor zwar verändert, aber Vorurteile lediglich verschiebt statt sie zu eliminieren, wodurch Arbeitssuchenden systematisch unterschiedliche kulturelle Signale bereitgestellt werden, die ihre Bewerbungsentscheidungen beeinflussen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen zu entscheiden, in welchem Restaurant Sie essen möchten. Sie haben zwei verschiedene Reiseführer, die Ihnen bei der Auswahl helfen.

Reiseführer A (Glassdoor) ist wie ein öffentlicher Marktplatz. Jeder kann hereinkommen, ein Mikrofon schnappen und herausposaunen, wie großartig (oder schrecklich) das Essen ist. Sie müssen nicht beweisen, dass Sie dort tatsächlich gegessen haben; eine E-Mail-Adresse reicht aus. Weil es so offen ist, schreien die Leute oft am lautesten. Sie schreien entweder: „Das ist das beste Essen meines Lebens!" oder, seltener: „Dieser Ort ist eine Katastrophe!" Das Ergebnis sind viele extreme Meinungen mit einer starken Tendenz zu Menschen, die versuchen, den Ort fantastisch aussehen zu lassen.

Reiseführer B (Blind) ist wie ein exklusiver Club nur für Mitglieder. Um hineinzukommen, müssen Sie Ihren Ausweis (Ihre geschäftliche E-Mail-Adresse) vorzeigen, um zu beweisen, dass Sie tatsächlich in dem Restaurant arbeiten. Sobald Sie drinnen sind, können Sie immer noch eine Maske tragen, damit niemand weiß, wer Sie sind, aber der Türsteher weiß, dass Sie dorthin gehören. Weil Sie beweisen müssen, dass Sie Insider sind, neigen die Menschen dazu, gemessener zu sein. Sie schreien weniger wahrscheinlich „Perfekt!", nur um die Bewertung zu erhöhen, aber sie fühlen sich auch sicherer, zuzugeben: „Die Küche ist etwas chaotisch", ohne Angst zu haben, gefeuert zu werden.

Das große Experiment

Die Forscher in dieser Arbeit agierten wie Food-Kritiker, die diese beiden Reiseführer verglichen. Sie untersuchten über 300.000 Bewertungen von Unternehmen (meist im Technologiebereich), um zu sehen, wie sich die „Spielregeln" (Verifizierung) darauf auswirkten, was die Leute sagten.

Sie verwendeten einen speziellen „Kultur-Decoder" (ein Computerprogramm namens CultureBERT), um die Bewertungen zu lesen und in vier Arten von Arbeitsatmosphären einzuteilen:

1. Clan: Wie eine große, unterstützende Familie.
2. Markt: Wie ein wettbewerbsorientiertes Sportteam, das auf den Sieg fokussiert ist.
3. Hierarchie: Wie eine strenge Armee oder Schule mit klaren Regeln.
4. Adhokratie: Wie eine Start-up-Garage, in der alle neue Dinge erfinden.

Was sie fanden

1. Die Bewertungsskala: Das „Extreme" versus das „Mittlere"

• Glassdoor (Der offene Marktplatz): Die Bewertungen waren extremer. Es gab weit mehr 5-Sterne-„perfekte" Bewertungen hier. Es ist wie der Marktplatz, wo die Leute versuchen, das Publikum zu beeindrucken.
• Blind (Der private Club): Die Bewertungen waren mehr „mittleren Weges". Die Leute gaben weniger perfekte Scores ab und mehr 3- oder 4-Sterne-Bewertungen wie „ziemlich gut, aber nicht perfekt".
• Die Wendung: Für ein hochbelastetes Unternehmen wie Amazon hatte der private Club tatsächlich mehr negative Bewertungen als der öffentliche Marktplatz. Es scheint, dass, wenn Sie wissen, dass Sie im Club sicher sind, Sie eher bereit sind zu sagen: „Hey, der Manager ist eigentlich wirklich hart", während die Leute auf dem öffentlichen Marktplatz vielleicht zu ängstlich oder zu sehr daran interessiert sind, es allen recht zu machen, um es zu sagen.

2. Die kulturellen Signale: Was gelobt wird versus was kritisiert wird
Die Forscher fanden heraus, dass sich die Art der Kultur, über die die Leute sprachen, je nachdem, welchen Reiseführer sie nutzten, änderte.

• Auf Glassdoor (Öffentlich): Die Leute liebten es, über „Familie" (Clan) und „Gewinnen" (Markt) zu sprechen. Sie lobten das unterstützende Team und den wettbewerbsorientierten Erfolg. Es war überwiegend positive, nach außen gerichtete Lobpreisung.
• Auf Blind (Privat): Die Leute sprachen mehr über „Regeln" (Hierarchie) und „Innovation" (Adhokratie), aber meist als Beschwerden.
  • Die Analogie: Stellen Sie sich ein Familienessen vor. In der öffentlichen Radiosendung sagt jeder: „Wir sind so eine liebevolle Familie!" (Clan). Aber in der privaten Küche könnte jemand flüstern: „Die Regeln hier sind zu streng" oder „Wir versuchen, zu viele neue Rezepte gleichzeitig zu erfinden."

3. Die „Vorteile" und „Nachteile"

• Vorteile (Das Gute): Auf beiden Plattformen liebten die Leute es, über den Aspekt „Familie" zu sprechen. Wenn sich ein Unternehmen wie ein unterstützendes Team anfühlte, waren sich alle einig, dass dies ein Vorteil war.
• Nachteile (Das Schlechte): Hier trennen sich die Plattformen.
  • Auf Glassdoor bezogen sich die Beschwerden hauptsächlich darauf, zu wettbewerbsorientiert zu sein (Markt).
  • Auf Blind bezogen sich die Beschwerden schwerpunktmäßig auf strenge Regeln und Bürokratie (Hierarchie).

Das Fazit

Die Arbeit kommt zu dem Schluss, dass Verifizierung die Geschichte verändert.

Es macht Bewertungen nicht nur „wahrer"; es verändert, welche Wahrheiten erzählt werden.

• Offene Plattformen neigen dazu, das „Highlight-Video" (Familie und Gewinnen) und die extreme Lobpreisung zu verstärken.
• Verifizierte Plattformen wirken wie ein Druckventil. Sie reduzieren die gefälschte, übertriebene Lobpreisung, aber sie bringen auch die inneren Reibungen (Kämpfe mit Regeln und Innovation) ans Licht, über die die Leute auf einem öffentlichen Marktplatz vielleicht zu ängstlich sind, zu sprechen.

Wenn Sie also ein Jobsuchender sind, gibt Ihnen das Lesen nur eines Reiseführers ein verzerrtes Bild. Sie müssen wissen, dass der „öffentliche Marktplatz" Ihnen möglicherweise eine polierte, glückliche Version des Unternehmens zeigt, während der „private Club" Ihnen die chaotische, regelgebundene Realität des täglichen Arbeitslebens zeigt. Beides ist real, aber sie erzählen verschiedene Teile derselben Geschichte.

Technische Zusammenfassung

Technisches Fazit: Wie Verifizierungsmechanismen kulturelle Signale in Arbeitgeberbewertungen verändern

Problemstellung
Online-Plattformen für Arbeitgeberbewertungen beeinflussen die Wahrnehmung und Bewerbungsentscheidungen von Jobsuchenden erheblich. Die Glaubwürdigkeit und Authentizität dieser Bewertungen werden jedoch durch das Potenzial für unechte Einträge beeinträchtigt, wie etwa gefälschte Bewertungen, die von Unternehmen orchestriert werden, um ihr Image aufzuwerten, oder von nicht verifizierten Nutzern veröffentlichte, voreingenommene Inhalte. Während Plattformen wie Glassdoor vollständig anonyme Beiträge zulassen, um Offenheit zu fördern, fehlt ihnen eine Beschäftigungsverifizierung, was eine Anfälligkeit für Manipulation schafft. Im Gegensatz dazu verlangen Plattformen wie Blind eine Verifizierung über eine geschäftliche E-Mail-Adresse, um Beiträge zu veröffentlichen, was theoretisch sicherstellt, dass der Rezensent ein aktueller Mitarbeiter ist, während die Anonymität gewahrt bleibt. Das zentrale Problem, das behandelt wird, besteht darin, wie diese unterschiedlichen Verifizierungsmechanismen die statistische Verteilung der Bewertungen und die qualitativen kulturellen Signale verändern, die in den Erzählungen der Mitarbeiter eingebettet sind. Insbesondere untersucht die Studie, ob Verifizierung lediglich die Glaubwürdigkeit erhöht oder die Darstellung der Organisationskultur (z. B. Clan, Hierarchie, Markt, Adhokratie), die Jobsuchenden präsentiert wird, grundlegend verschiebt.

Methodik
Die Autoren führten eine vergleichende Analyse von über 300.000 Mitarbeiterbewertungen von zwei großen Plattformen durch: Glassdoor (nicht verifiziert, offener Zugang) und Blind (über Arbeits-E-Mail verifiziert, anonym).

• Datenquellen: Der Datensatz umfasste ca. 275.000 Bewertungen von Glassdoor und ca. 29.000 von Blind und deckte große Technologie- und Beratungsunternehmen ab. Eine spezifische Analyse innerhalb von Unternehmen wurde an Amazon-Bewertungen (N = 108.521) durchgeführt, um unternehmensspezifische Variablen zu kontrollieren.
• Quantitative Analyse (Bewertungen): Die Studie berechnete Zusammenfassungsstatistiken (Mittelwert, Standardabweichung) und visualisierte die Verteilung der Bewertungen. Die statistische Signifikanz wurde mit zwei-Stichproben-t-Tests für mittlere Bewertungen und zwei-Proportionen-z-Tests für Anteile von Bewertungskategorien getestet. Effektstärken wurden mit Cohens d gemessen.
• Qualitative Analyse (Kulturelle Signale): Die Autoren nutzten das CultureBERT-Modell (Koch und Pasch, 2023), ein auf Transformer basierendes Sprachmodell, das auf Mitarbeiterbewertungen feinabgestimmt wurde, um Bewertungstexte in die vier Dimensionen des Competing Values Framework (CVF) zu klassifizieren: Clan, Adhokratie, Hierarchie und Markt.
  • Textkorpora wurden durch Verkettung der Felder „Vorteile" (Pros) und „Nachteile" (Cons) erstellt.
  • Die Modellvalidität wurde durch manuelle Codierung einer Zufallsstichprobe (20 Bewertungen) bewertet, wobei eine Übereinstimmung von 65 % mit menschlichen Codierern erreicht wurde, was mit früheren Benchmarks übereinstimmt.
  • Die Analyse konzentrierte sich auf Verteilungsmuster von Kulturtypen über Plattformen hinweg und nicht auf die Klassifizierung einzelner Bewertungen.
• Kontrolle von Störfaktoren: Um strukturelle Unterschiede zwischen den Plattformen (z. B. Branchenfokus, Zusammensetzung des Publikums) zu adressieren, beschränkte die Analyse die Vergleiche auf Unternehmen, die auf beiden Plattformen vertreten sind, und nutzte die Fallstudie innerhalb von Unternehmen bei Amazon.

Hauptergebnisse

1. Verteilung der Bewertungen und Polarisierung:

   • Glassdoor zeigt eine signifikante Positivitätsverzerrung, wobei 37,7 % der Bewertungen 5-Sterne-Bewertungen sind, im Vergleich zu nur 22,0 % auf Blind.
   • Blind weist eine moderatere Verteilung auf, mit einer höheren Konzentration von 3-Sterne- und 4-Sterne-Bewertungen (42,2 % bei 4 Sternen gegenüber 30,1 % auf Glassdoor).
   • Polarisierung: Nicht verifizierte Plattformen (Glassdoor) scheinen die Stimmung in beide Richtungen zu polarisieren und zeigen leicht höhere Anteile sowohl bei 5-Sterne- als auch bei 1-Sterne-Bewertungen im Vergleich zu Blind.
   • Analyse innerhalb von Unternehmen (Amazon): Der Trend, dass Glassdoor positiver ist, gilt auch innerhalb eines einzelnen Unternehmens (Amazon), mit einer durchschnittlichen Bewertungsdifferenz von 0,47 Punkten. Bemerkenswerterweise waren Rezensenten auf Blind für Amazon wahrscheinlicher, negative Bewertungen (1-Sterne und 2-Sterne) zu hinterlassen als Rezensenten auf Glassdoor, was darauf hindeutet, dass Verifizierung in hochdruckbehafteten Umgebungen offene negative Rückmeldungen ermutigen, während extreme Positivität unterdrückt wird.

2. Kulturelle Signale (CVF-Dimensionen):

   • Clan-Kultur: Dominant auf beiden Plattformen, aber in Glassdoor-Bewertungen signifikant stärker betont (41,5 % gegenüber 35,5 % auf Blind).
   • Markt-Kultur: Stark mit Glassdoor assoziiert (30,3 % gegenüber 16,2 % auf Blind), was einen Fokus auf externe Wettbewerbsfähigkeit widerspiegelt.
   • Hierarchie und Adhokratie: Blind-Bewertungen gewichten Hierarchie (30,4 % gegenüber 17,9 %) und Adhokratie (17,8 % gegenüber 10,2 %) signifikant stärker.
   • Vorteile vs. Nachteile:
     • Vorteile: Beide Plattformen rahmen „Clan"-Attribute (Zusammenarbeit, Unterstützung) überwiegend positiv.
     • Nachteile: „Markt"- und „Hierarchie"-Kulturen werden unverhältnismäßig häufig als Nachteile dargestellt. Blind-Rezensenten verknüpfen „Hierarchie" spezifisch häufiger mit Nachteilen (48,8 % der Nachteile auf Blind gegenüber 24,1 % der Nachteile auf Glassdoor).

Hauptbeiträge

• Empirische Evidenz zur Verifizierung: Die Studie liefert quantitative Belege dafür, dass Verifizierungsmechanismen nicht einfach nur die Vertrauenswürdigkeit erhöhen, sondern aktiv den Inhalt und den Ton von Bewertungen umgestalten. Verifizierung korreliert mit kalibrierteren, moderateren Bewertungen und einer Abkehr von extremer Positivität.
• Entwirrung kultureller Signale: Durch die Anwendung des Competing Values Framework mittels NLP zeigt die Arbeit, dass Verifizierung verändert, welche kulturellen Dimensionen hervorgehoben werden. Nicht verifizierte Plattformen neigen dazu, „Clan"- und „Markt"-Signale zu verstärken (oft in einem positiven Licht), während verifizierte Plattformen „Hierarchie"- und „Adhokratie"-Signale ans Licht bringen, oft im Kontext von Kritik.
• Auswirkungen des Plattformdesigns: Die Forschung hebt hervor, dass die Plattformarchitektur (Verifizierung vs. offener Zugang) als Filter wirkt, der expressive Anreize moduliert und zu systematisch unterschiedlichen Signalen für Jobsuchende führt, je nachdem, welche Plattform verwendet wird.

Bedeutung und Behauptungen
Die Arbeit behauptet, das Verständnis von Mitarbeiterstimmen im Bereich Informationssysteme voranzubringen, indem sie zeigt, dass Konfigurationen von Verifizierung und Anonymität gemeinsam die Kosten und Anreize der Äußerung regeln.

• Für Jobsuchende: Die Ergebnisse deuten darauf hin, dass Jobsuchende je nach Plattform systematisch unterschiedliche Signale über die Unternehmenskultur erhalten. Das ausschließliche Verlassen auf nicht verifizierte Plattformen kann zu einer Überschätzung der Stärken von „Clan" und „Markt" führen, während verifizierte Plattformen eine nuanciertere Sichtweise bieten können, die interne Reibungen im Zusammenhang mit Hierarchie und Innovation einschließt.
• Für die Theorie: Die Studie erweitert die Forschung zur Polarisierung von Bewertungen über die einfache Valenz (positiv/negativ) hinaus auf die Zusammensetzung kultureller Signale. Sie geht davon aus, dass Verifizierung „ehrliche, aber zurückhaltende" Einschätzungen fördert, während offene Umgebungen eine „strategische Selbstdarstellung" und anhaltende Positivität begünstigen.
• Bescheidenheit der Behauptungen: Die Autoren erkennen ausdrücklich Einschränkungen an, einschließlich des beobachtenden Charakters der Daten, potenzieller Selbstselektionsverzerrungen und des querschnittlichen Designs, das kausale Behauptungen verhindert. Sie formulieren ihre Ergebnisse als Identifizierung von Verteilungsmustern und Korrelationen und nicht als definitive kausale Mechanismen und stellen fest, dass Heterogenitäten auf Plattformebene (jenseits der Verifizierung) ebenfalls zu den beobachteten Unterschieden beitragen können.