💻 computer science

HotComment: A Benchmark for Evaluating Popularity of Online Comments

Dieser Beitrag stellt HotComment vor, ein multimodaler Benchmark, der die Popularität von Online-Kommentaren bewertet, indem er Inhaltsqualität, Popularitätsvorhersage und Simulation des Nutzerverhaltens integriert, sowie das vorgeschlagene StyleCmt-Framework zur Modellierung sozial resonanter stilistischer Ausrichtung.

Ursprüngliche Autoren: Yafeng Wu, Yunyao Zhang, Liliang Ye, Guiyi Zeng, Junqing Yu, Chen Xu, Zikai Song

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Yafeng Wu, Yunyao Zhang, Liliang Ye, Guiyi Zeng, Junqing Yu, Chen Xu, Zikai Song

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie befinden sich auf einer riesigen, lauten Party, auf der Tausende von Menschen ein Video ansehen und Kommentare rufen. Einige Kommentare erhalten tausende Beifallsrufe (Likes), während andere ignoriert werden. Die große Frage lautet: Warum gehen manche Kommentare viral, während andere floppt?

Diese Arbeit mit dem Titel "HotComment" argumentiert, dass die derzeitige Art und Weise, wie Computer versuchen, solche Kommentare zu verfassen, wie ein Roboter ist, der versucht, zu erraten, was lustig ist, ohne jemals auf einer Party gewesen zu sein. Die Autoren sagen, dass bestehende Tools nur prüfen, ob die Grammatik korrekt ist oder ob die Wörter anderen Kommentaren ähnlich klingen. Sie verpassen die "Vibe".

Hier ist eine Aufschlüsselung ihrer Lösung unter Verwendung einfacher Analogien:

1. Das Problem: Der "Einheitsgröße"-Fehler

Stellen Sie sich vor, Sie erzählen einen Witz einer Gruppe von Ingenieuren und dann genau denselben Witz einer Gruppe von Komikern. Die Ingenieure lachen vielleicht höflich, aber die Komiker könnten vor Lachen brüllen.

Der Punkt der Arbeit: Popularität geht nicht nur um die Wörter, die Sie sagen; es geht darum, wer sie hört, wo sie sind und wie sie reagieren.
Der Fehler: Aktuelle KI-Richter schauen nur auf den Text. Sie verstehen nicht, dass ein Kommentar, der auf einer Nachrichtenseite funktioniert, auf einer Videospiel-Seite scheitern könnte.

2. Die Lösung: Der "HotComment"-Benchmark

Die Autoren haben einen neuen Testbereich namens HotComment entwickelt. Denken Sie daran als an ein simuliertes Social-Media-Universum mit drei spezifischen Möglichkeiten, einen Kommentar zu bewerten, anstatt nur einer.

Dimension 1: Inhaltsqualität (Der "Talent"-Test)
Anstatt nur zu prüfen, ob der Satz Sinn ergibt, prüfen sie vier spezifische "Geschmacksrichtungen":
- Sprachlicher Ausdruck: Ist er witzig, rhythmisch oder poetisch?
- Kreative Vorstellungskraft: Verbindet er zwei seltsame Ideen auf eine neue Art?
- Emotionale Resonanz: Löst er ein Gefühl aus (Wut, Freude, Empathie)?
- Sozialer/Kultureller Einfluss: Verwendet er Memes oder Referenzen, die Menschen in dieser spezifischen Community verstehen?
- Analogie: Es ist wie ein Koch zu beurteilen, nicht nur danach, ob das Essen gekocht ist, sondern nach der Würzung, dem Anrichten, der Geschichte hinter dem Gericht und ob es zum Thema des Restaurants passt.
Dimension 2: Popularitätsvorhersage (Der "Glaskugel")
Sie haben ein Computermodell auf Millionen realer Interaktionen trainiert. Dieses Modell fungiert wie ein Wettervorhersager. Es betrachtet den Kommentar und das Video und sagt voraus: "Basierend darauf, wie sich Menschen normalerweise auf dieser spezifischen Plattform verhalten, wie viele 'Likes' wird dies erhalten?"
Dimension 3: Simulation des Nutzerverhaltens (Die "Menge von Avataren")
Dies ist der einzigartigste Teil. Anstatt eines einzigen KI-Richters haben sie eine virtuelle Menge aus Tausenden von KI-"Menschen" (Agenten) erstellt.
- Diese Agenten haben unterschiedliche Persönlichkeiten, Berufe und Hintergründe (z. B. ein Student aus New York, ein Rentner aus einer ländlichen Gegend).
- Sie simulieren, wie ein echtes, diverses Publikum reagieren würde. Wenn der Kommentar die "Studenten" anspricht, aber die "Rentner" langweilt, fängt die Simulation diese Nuance auf.
- Analogie: Es ist wie das Testen eines neuen Songs in einer Fokusgruppe von 1.000 verschiedenen Menschen, bevor er der Welt veröffentlicht wird, anstatt nur einen Musikkritiker zu fragen.

3. Das neue Werkzeug: "StyleCmt"

Um KI zu helfen, bessere Kommentare zu schreiben, erfanden die Autoren ein Framework namens StyleCmt. Sie ließen sich von der Physik inspirieren, speziell davon, wie Wellen interagieren.

Die Wellen-Analogie: Stellen Sie sich vor, die Kommentare unter einem Video erzeugen ein "Schallfeld" oder eine "Vibe".
- Manche Kommentare sind wie konstruktive Wellen: Sie stimmen perfekt mit der Stimmung der Menge überein und machen den Schall (Popularität) lauter.
- Manche sind destruktive Wellen: Sie kollidieren mit der Stimmung und heben sich gegenseitig auf.
Wie StyleCmt funktioniert: Es analysiert die "Wellen" der Top-Kommentare, die bereits unter dem Video stehen. Es plant dann den neuen Kommentar so, dass seine "Wellen" (Stil, Humor, Emotion) konstruktiv mit der Stimmung der Menge interferieren. Es schreibt nicht nur einen Satz; es stimmt den Satz auf die Frequenz des Publikums ab.

4. Die Ergebnisse

Als sie diese neue Methode gegen Standard-KI-Modelle testeten:

Der Standard-KI: Schrieb grammatikalisch korrekte Kommentare, die sich roboterhaft anfühlten oder den kulturellen Kontext verpassten.
Der StyleCmt-KI: Schrieb Kommentare, die sich so anfühlten, als wären sie von einem Menschen verfasst worden, der den "Raum" verstanden hat.
Die Punktzahl: Die neue Methode verbesserte die Punktzahlen in allen Kategorien erheblich. Sie machte die KI besser darin, lustig zu sein, kreativer, emotionaler und kulturell relevant. Sie sagte auch voraus, dass diese Kommentare in der Simulation mehr Engagement (Likes) erhalten würden.

Zusammenfassung

Die Arbeit sagt: Um KI zu lehren, populäre Kommentare zu schreiben, können Sie ihr nicht nur Grammatik beibringen. Sie müssen ihr beibringen, die "Vibe" des Raums zu verstehen, zu simulieren, wie ein diverses Publikum reagieren wird, und ihr Schreiben wie ein Radio auf die Frequenz des Publikums abzustimmen. Sie bauten einen neuen Test (HotComment), um zu beweisen, dass dies funktioniert, und ein neues Werkzeug (StyleCmt), um es möglich zu machen.

1. Problemstellung

Die Bewertung der Popularität von Online-Kommentaren ist eine komplexe Herausforderung, die bestehende Benchmarks nicht angemessen adressieren. Aktuelle Evaluierungsmethoden stützen sich hauptsächlich auf:

Lexikalische/Semantische Ähnlichkeit: Metriken wie BLEU oder BERTScore, die die Übereinstimmung mit menschlichen Referenzen messen, aber stilistische Nuancen ignorieren.
Isolierte Stilmetriken: Die Bewertung von Humor oder Kreativität isoliert, ohne zu berücksichtigen, wie diese Elemente mit spezifischen demografischen Merkmalen der Zielgruppe und Plattformkontexten interagieren.

Die zentrale Lücke: Popularität ist keine inhärente Eigenschaft eines Textes; sie ist ein bedingtes Ergebnis ( $\pi(c|x, p, a)$ ), das vom Kommentar ( $c$ ), dem Quellinhalt ( $x$ ), dem Plattformkontext ( $p$ ) und dem Zustand des Publikums ( $a$ ) abhängt. Bestehende Rahmenwerke fehlt die Fähigkeit, heterogene Nutzerpräferenzen, plattformspezifische Interaktionsdynamiken sowie die konstruktive oder destruktive Interferenz mehrerer Stilelemente gleichzeitig zu modellieren.

2. Methodik

Das Papier stellt zwei Hauptkomponenten vor: den HotComment-Benchmark und das StyleCmt-Framework.

A. HotComment-Benchmark

HotComment ist ein groß angelegter, multimodaler Datensatz und Evaluierungsrahmen, der entwickelt wurde, um die Popularität von Kommentaren durch drei komplementäre Dimensionen zu quantifizieren:

Datensatz-Erstellung:
- Quellen: Gesammelt von NetEase News, Tencent News und Bilibili.
- Umfang: ~43.000 Artikel, 34.000 Videos und 1,4 Millionen Inhalt-Kommentar-Paare.
- Kennzeichnung: „Populäre" Kommentare sind als die Top-15 nach Likes definiert (mehr als 10 % der Top-Kommentare oder 2.000 Likes). „Nicht-populäre" Kommentare sind Posts mit geringer Interaktion vom selben Tag.
Dreidimensionaler Evaluierungsrahmen:
- Inhaltsqualität: Bewertet die semantische Ähnlichkeit zu ground-truth populären Kommentaren und prüft vier interpretierbare stilistische Dimensionen:
  - Sprachlicher Ausdruck (LE): Humor, Ironie, Metapher, Rhythmus.
  - Kreative Vorstellungskraft (CI): Originalität, assoziatives Denken, Surrealismus.
  - Emotionale Resonanz (ER): Empathie, affektiver Ton, Intensität.
  - Sozialer und kultureller Einfluss (SCI): Memes, kulturelle Referenzen, Intertextualität.
- Popularitätsvorhersage: Nutzt Modelle, die auf realen Interaktionsdaten trainiert wurden (feinabgestimmter BERT mit MLP-Köpfen), um die Wahrscheinlichkeit vorherzusagen, dass ein Kommentar auf bestimmten Plattformen populär wird, und erfasst dabei plattformweite Trends.
- Simulation des Nutzerverhaltens (UBS): Ein agentenbasiertes Framework, das heterogene Publikumsreaktionen simuliert. Es modelliert die Zusammensetzung des Publikums (z. B. interessierte vs. gelegentliche Nutzer) basierend auf realen demografischen Statistiken und regionalen Internetdaten, um Engagement-Scores (Daumen hoch/Stimmen) zu schätzen, anstatt sich auf einen generischen LLM-Richter zu verlassen.

B. StyleCmt-Framework

Um die Herausforderung der Generierung zu adressieren, schlagen die Autoren StyleCmt vor, ein Framework, das vom Wellen-Interferenz-Modell und der Uses-and-Gratifications-Theorie inspiriert ist. Es behandelt Stilelemente als Wellen in einem Vektorraum, die einer konstruktiven oder destruktiven Interferenz unterliegen.

Aufbau des Resonanzfelds: Historische Kommentare werden in die vier stilistischen Dimensionen (LE, CI, ER, SCI) zerlegt, um ein „Resonanzfeld" ( $\Psi_0$ ) zu erstellen, das die Basispräferenz der Community repräsentiert (Intensitäts- und Orientierungsvektoren).
Interferenzgetriebene Planung: Die stilistischen Vektoren eines Kandidaten-Kommentars werden mit dem Resonanzfeld abgeglichen. Das Framework berechnet Interaktionsscores (Skalarprodukte), um Kombinationen zu identifizieren, die konstruktive Interferenz (Ausrichtung) maximieren und destruktive Interferenz minimieren.
Kohärente Superposition: Der Generator erzeugt mehrere Kandidaten durch Sampling aus dem aggregierten stilistischen Raum und stellt sicher, dass die Ausgabe mit den dominanten Tendenzen der Community übereinstimmt.
Kollaps und Emission: Der Kandidat mit dem höchsten Kohärenzscore (Kosinusähnlichkeit zur Basispräferenz) wird ausgewählt und für die endgültige Ausgabe verfeinert.

3. Hauptbeiträge

HotComment-Benchmark: Ein umfassender, multimodaler Datensatz mit einem neuartigen dreidimensionalen Evaluierungsrahmen (Inhaltsqualität, Popularitätsvorhersage, Simulation des Nutzerverhaltens), der über einfache Textüberlappungen hinausgeht, um reale Interaktionsdynamiken zu modellieren.
StyleCmt-Framework: Eine neuartige Generierungsmethode, die Stile-Interaktionen als Welleninterferenz modelliert und es Modellen ermöglicht, Kommentare zu synthetisieren, die mit kollektiven Publikumspräferenzen resonieren, indem kompatible stilistische Dimensionen verstärkt werden.
Empirische Validierung: Umfangreiche Experimente zeigen, dass StyleCmt die Realitätsnähe und die Ausrichtung auf Engagement generierter Kommentare über verschiedene Large Language Models (LLMs) und Multimodale Large Language Models (MLLMs) hinweg signifikant verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten verschiedene Modelle (Qwen, LLaMA, Mistral, ChatGPT-4o) am HotComment-Benchmark.

Leistungssteigerungen: StyleCmt schnitt bei allen Metriken konsistent besser ab als Baselines (einschließlich Chain-of-Thought und Few-Shot-Prompting).
- Inhaltsqualität: Signifikante Verbesserungen bei BLEU-1, METEOR und BERTScore F1.
- Stilistischer Resonanzscore (SRS): Deutliche Gewinne in allen vier Dimensionen (LE, CI, ER, SCI), wobei die bemerkenswertesten Verbesserungen bei Kreativer Vorstellungskraft und Sozialem/Kulturellem Einfluss zu verzeichnen waren.
- Engagement-Metriken: Große Steigerungen bei den Popularitätsvorhersage-Scores und den User-Behavior-Simulation (UBS)-Scores. Beispielsweise verbesserte sich bei Qwen2.5-14B der UBS um 20,39 % und der SRS um 17,38 %.
Multimodale Fähigkeit: Das Framework erwies sich als effektiv für die Generierung von Video-Kommentaren (MLLMs), wobei Open-Source-Modelle, die mit StyleCmt erweitert wurden, in den Engagement-Metriken Leistungen erzielten, die mit geschlossenen Baselines vergleichbar waren oder diese übertrafen.
Vergleich: Im Gegensatz zu CoT oder Few-Shot-Prompting, die marginale oder inkonsistente Gewinne boten, lieferte StyleCmt stabile, modellunabhängige Verbesserungen sowohl in der semantischen Qualität als auch in der sozialen Ausrichtung.

5. Bedeutung

Neudefinition der Evaluierung: HotComment verschiebt das Paradigma von einer statischen Qualitätsbewertung von Texten hin zu einer dynamischen, kontextbewussten Popularitätsmodellierung und erkennt an, dass Publikums-Heterogenität und Plattformkontexte für den Erfolg von Inhalten entscheidend sind.
Überbrückung der Lücke: Es adressiert die Diskrepanz zwischen „hochwertigem" Text und „populärem" Text, indem es die sozialen und stilistischen Mechanismen explizit modelliert, die Engagement antreiben.
Fortschritt in der Generativen KI: StyleCmt bietet einen prinzipiellen Ansatz für die kontrollierte Textgenerierung und zeigt, dass die Modellierung der Interaktion von Stileigenschaften (anstatt nur der Eigenschaften selbst) der Schlüssel zur Generierung sozial resonanter Inhalte ist.
Zukünftige Forschung: Der Benchmark schafft eine robuste Grundlage für die Entwicklung „popularitätsbewusster" Generierungssysteme, die für Anwendungen im Social-Media-Management, in der Content-Empfehlung und in Studien zur Mensch-KI-Interaktion entscheidend sind.