💻 computer science

Using Gameplay Videos for Detecting Issues in Video Games

Dieses Paper schlägt GELID vor und evaluiert empirisch einen Ansatz zur automatischen Erkennung und Kategorisierung von Spielproblemen aus Gameplay-Videos, der zufriedenstellende Ergebnisse bei der Segmentierung und Clusterung spezifischer Probleme erzielt, jedoch Einschränkungen bei der Kategorisierung von Problemtypen und der Clusterung nach Spielkontext aufweist.

Ursprüngliche Autoren: Emanuela Guglielmi, Simone Scalabrino, Gabriele Bavota, Rocco Oliveto

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Emanuela Guglielmi, Simone Scalabrino, Gabriele Bavota, Rocco Oliveto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Videospiele als riesige, komplizierte Themenparks vor. Entwickler verbringen Jahre damit, Fahrgeschäfte und Attraktionen zu bauen, aber egal wie sehr sie sich bemühen, kann es sein, dass ein Fahrgeschäft eine lose Schraube, eine unterbrochene Schiene oder einen fehlerhaften Animatronik-Roboter hat. Normalerweise ist der einzige Weg, diese Probleme zu finden, darauf zu warten, dass Besucher (Spieler) sich beschweren.

Doch heute gibt es eine neue Gruppe von Besuchern: Streamer. Das sind Menschen, die Spiele live im Internet spielen und dabei ihrem Publikum etwas erzählen. Sie fungieren wie Reiseleiter, aber anstatt nur die Landschaft zu zeigen, rufen sie oft während des Spielens aus: „Huch, der Boden ist gerade verschwunden!“ oder „Mein Charakter ist eingefroren!“.

Das Problem ist, dass es so viele dieser Reiseleiter gibt und sie tausende Stunden Videomaterial aufzeichnen. Es ist unmöglich für die Themenpark-Manager (Spieleentwickler), jedes einzelne Video anzusehen, um die defekten Fahrgeschäfte zu finden.

Hier kommt GELID ins Spiel.

Die Autoren dieser Arbeit haben einen Roboter-Detektiv namens GELID (GamEpay Issue Detector) erschaffen. Stellen Sie sich GELID wie einen super-effizienten Editor und Bibliothekar für diese tausenden Stunden Videomaterial vor. Seine Aufgabe ist es, das Videomaterial der Streamer zu sichten, die exakten Momente zu finden, in denen etwas schiefgelaufen ist, und diese Clips in einem ordentlichen Ablagesystem zu organisieren, damit Entwickler die Probleme schnell beheben können.

So funktioniert GELID, unterteilt in vier einfache Schritte:

1. Die Schere (Video-Segmentierung)

Stellen Sie sich vor, ein Streamer nimmt ein 2-stündiges Video auf. GELID möchte nicht das ganze Video anschauen. Es muss das Video in kleine, mundgerechte Stücke schneiden.

Wie es funktioniert: Es hört auf die Stimme des Streamers (die Untertitel). Wenn der Streamer über ein Problem spricht, schneidet GELID das Video einige Sekunden vor Beginn des Sprechens und einige Sekunden nach dem Ende des Sprechens.
Die Analogie: Es ist wie ein Film-Editor, der nur die Szenen behält, in denen der Schauspieler etwas Wichtiges sagt, und die langweiligen Teile wegwirft, in denen er einfach nur schweigend herumläuft.

2. Der Sortierer (Segment-Kategorisierung)

Nun besitzt GELID hunderte kleiner Clips. Es muss herausfinden, welche Art von Problem in jedem Clip vorliegt.

Wie es funktioniert: Es nutzt ein computergestütztes Gehirn (Maschinelles Lernen), um die Worte des Streamers zu lesen und die Videobilder zu analysieren. Es versucht, die Clips in vier Ordner zu sortieren:
- Logik: Die Spielregeln sind gebrochen (z. B. eine Tür öffnet sich, obwohl sie es nicht sollte).
- Präsentation: Die Grafik oder der Ton ist seltsam (z. B. das Gesicht eines Charakters ist verzerrt).
- Performance: Das Spiel laggt oder stürzt ab (z. B. „Meine Framerate ist eingebrochen!“).
- Balance: Das Spiel ist zu schwer oder zu einfach.
Das Ergebnis: GELID versucht, die „langweiligen“ Clips wegzuwerfen, in denen der Streamer nur über sein Mittagessen plaudert.
Der Haken: Dieser Schritt war für den Roboter am schwierigsten. Er war oft verwirrt. Manchmal dachte er, ein Kommentar über einen „lustig aussehenden Charakter“ sei ein „Fehler in der Spiellogik“. Er hatte Schwierigkeiten, zwischen einem visuellen Glitch und einem Logikfehler zu unterscheiden.

3. Der Kartenzeichner (Kontext-Clustering)

Sob matter GELID die schlechten Clips gefunden hat, muss es wissen, wo im Spiel sie passiert sind.

Wie es funktioniert: Es betrachtet die Bilder im Video. Wenn zwei Clips so aussehen, als wären sie im selben Wald oder im selben Schlosszimmer entstanden, legt es sie in denselben Stapel.
Die Analogie: Stellen Sie sich vor, Sie haben 50 Fotos von kaputten Fahrgeschäften. GELID versucht, sie zu gruppieren, indem es sagt: „Diese 10 Fotos stammen alle aus dem Bereich ‚Gruselhaus‘, und diese 5 aus der ‚Raumstation‘.“
Der Haken: Auch das war knifflig. Manche Spiele haben Bereiche, die fast identisch aussehen (wie zwei verschiedene Wälder, die gleich aussehen). GELID wurde verwirrt und brachte die Standorte durcheinander, indem es ein kaputtes Fahrgeschäft in Wald A mit einem kaputten Fahrgeschäft in Wald B gruppierte.

4. Die Gruppierung (Issue-Clustering)

Schließlich schaut sich GELID die Clips an, die es nach Standort gruppiert hat, und fragt: „Sind das alle derselbe spezifische Fehler?“

Wie es funktioniert: Wenn 20 verschiedene Streamer einen Clip gezeigt haben, in dem ein Schwert verschwunden ist, gruppiert GELID diese zusammen.
Das Ergebnis: Dieser Schritt funktionierte sehr gut! Der Roboter war exzellent darin, zu erkennen: „Hey, all diese Leute zeigen genau denselben Bug.“ Er organisierte das Chaos erfolgreich in spezifische, handlungsrelevante Gruppen.

Das Urteil: Hat der Roboter Erfolg gehabt?

Die Arbeit berichtet von gemischten Ergebnissen, vergleichbar mit einem Schüler, der die Mathearbeit mit Bestnote bestanden, aber im Kunstunterricht durchgefallen ist:

Die gute Nachricht: Der Roboter ist gut darin, die Videos in nützliche Stücke zu schneiden und identische Bugs zusammen zu gruppieren. Er hat das „Was“ und das „Wo“ spezifischer Fehler erfolgreich organisiert.
Die schlechte Nachricht: Der Roboter hat Schwierigkeiten, die spezifische Art des Problems zu verstehen. Er hat Mühe zu unterscheiden, ob ein Streamer über einen visuellen Glitch, einen Fehler in den Spielregeln oder einen Performance-Lag spricht. Er wird auch verwirrt, wenn er versucht herauszufinden, in welchem Teil des Spiels das Video genau gedreht wurde, besonders wenn das Spiel viele ähnlich aussehende Gebiete hat.

Zusammenfassend lässt sich sagen: GELID ist ein mächtiges Werkzeug, das in der Lage ist, durch einen Berg von Videomaterial zu sieben, um die „Nadeln“ (Bugs) zu finden und sie aufzustapeln. Dennoch braucht es noch einen Menschen, der seine Arbeit überprüft, da es manchmal die Art der Nadel falsch etikettiert oder sich im Heuhaufen verirrt. Die Autoren planen, den Roboter in Zukunft besser darin zu trainieren, zuzuhören und hinzusehen, aber für den Moment ist es ein hilfreicher Assistent, der noch nicht ganz bereit ist, alleine zu arbeiten.

Technische Zusammenfassung: Nutzung von Gameplay-Videos zur Erkennung von Problemen in Videospielen

Problemstellung
Die Videospielindustrie steht aufgrund der Komplexität von Spielzuständen, nicht-deterministischen Verhaltensweisen und der Schwierigkeit, automatisierte Tests zu schreiben, vor erheblichen Herausforderungen in der Qualitätssicherung. Infolgedessen werden viele Bugs, Glitches und Performance-Probleme erst nach der Veröffentlichung entdeckt, wenn Spieler auf sie stoßen. Obwohl Streamer auf Plattformen wie Twitch und YouTube häufig auf diese Probleme während des Live-Gameplays stoßen und diese kommentieren, melden sie diese jedoch selten formell an die Entwickler. Obwohl große Mengen an Gameplay-Videos als potenzielle „Goldmine“ für Entwickler existieren, operieren bestehende automatisierte Ansätze (z. B. Lin et al., 2019) auf der Ebene ganzer Videos und verlassen sich auf Metadaten, um meldebezogene Videos zu identifizieren. Diese Methoden versäumen es, spezifische Segmente innerhalb langer Videos zu lokalisieren, in denen das Problem auftritt, noch kategorisieren sie die Art des Problems oder den Kontext, in dem es erschien, was sie für den direkten Einsatz durch Entwickler unpraktikabel macht.

Methodik: Der GELID-Ansatz
Die Autoren schlagen GELID (GamEpLay Issue Detector) vor, einen automatisierten Ansatz, der darauf ausgelegt ist, relevante Informationen aus Gameplay-Videos zu extrahieren, zu kategorisieren und zu clustern. GELID verarbeitet Input-Videos durch vier aufeinanderfolgende Schritte:

Videossegmentierung: Das System unterteilt Videos in aussagekräftige Segmente basierend auf dem gesprochenen Inhalt statt auf visuellen Schnitten. Es nutzt Untertitel-Einträge (auf dem Bildschirm angezeigter Text) als Anker. Um die Reaktionszeit der Streamer zu berücksichtigen, extrahiert das System Videosegmente, die $t$ Sekunden vor Beginn eines Untertitels beginnen und $t$ Sekunden nach dessen Ende enden. Ein Keyword-Matching-Filter (unter Verwendung eines Wörterbuchs von 257 problembezogenen Begriffen, die aus Patch Notes und bestehenden Datensätzen abgeleitet wurden) wird angewendet, um Segmente zu verwerfen, die unwahrscheinlich nützliche Informationen enthalten.
Segmentkategorisierung: Dieser Schritt klassifiziert Segmente in fünf Kategorien: Logik, Präsentation, Balance, Performance und Nicht-informativ. Die Autoren verwenden eine Machine-Learning-Pipeline, die Folgendes kombiniert:
- Textuelle Merkmale: Bag of Words (BoW), word2vec und doc2vec, abgeleitet aus den Untertiteln.
- Video-basierte Merkmale: Structural Similarity (SSIM) und HSV-Histogramm-Korrelationen zwischen aufeinanderfolgenden Frames, um visuelle Anomalien (z. B. Abstürze oder Glitches) zu erkennen.
- Algorithmen: Die Studie evaluiert Random Forest, Logistic Regression, SMO, Multilayer Perceptron und IBk.
Kontextbasierte Segmentgruppierung: Informative Segmente werden nach dem Spielbereich oder Level gruppiert, in dem das Problem auftrat. Dies nutzt Key-Frame-Extraktion und Pixel-für-Pixel-Mittelung, um zusammenfassende Frames zu erstellen. Das Clustering erfolgt mittels nicht-parametrischer Algorithmen (DBSCAN, OPTICS) mit Distanzmetriken basierend auf SSIM und HSV-Histogramm-Korrelation.
Problembasierte Segmentclusterung: Segmente, die dasselbe spezifische Problem melden (z. B. einen spezifischen Crash-Trigger), werden zusammengeclustert, um den Analyseaufwand für Entwickler zu reduzieren. Dieser Schritt kombiniert textuelle und bildbasierte Merkmale und verwendet die Algorithmen DBSCAN, OPTICS und Mean Shift.

Empirische Studie und Ergebnisse
Die Autoren führten eine empirische Studie mit 170 manuell annotierten Videos für das Training (was 1.255 Segmente ergab) und 80 Gameplay-Videos aus drei spezifischen Spielen (Conan Exiles, DayZ, New World) für die Validierung (was 604 Segmente ergab) durch.

Segmentierung (RQ1): Der Ansatz erzielte zufriedenstellende Ergebnisse. Ein Reaktionszeit-Parameter ( $t$ ) von 0 Sekunden begünstigte die Atomarität (Segmente konnten nicht weiter unterteilt werden), während $t=5$ Sekunden die Interpretierbarkeit begünstigte. Das beste Gleichgewicht wurde bei $t=5$ gefunden.
Kategorisierung (RQ2): Die Ergebnisse waren unbefriedigend. Während die binäre Klassifizierung (informativ vs. nicht-informativ) einen AUC von 0,61 auf dem Testset erreichte, schnitt die Multi-Class-Klassifizierung schlecht ab, insbesondere bei Performance- und Balance-Problemen, die das Modell nicht detektieren konnte (0 % Recall). Die Autoren führen dies auf das Rauschen in den Kommentaren der Streamer (unvollständige Sätze, generische Ausrufe) und die mangelnde Synchronisation zwischen gesprochenen Worten und visuellen Ereignissen zurück.
Kontext-Clustering (RQ3): Die Ergebnisse waren gemischt. Der MoJoFM-Score (der die Ähnlichkeit zum manuellen Clustering misst) lag je nach Spiel zwischen 21,9 % und 46,0 %. Die Performance hing stark von der visuellen Unterscheidbarkeit der Spielbereiche ab; Spiele mit visuell ähnlichen Leveln (z. B. Conan Exiles) erwiesen sich als schwierig zu clustern.
Problembasierte Clusterung (RQ4): Die Ergebnisse waren zufriedenstellend. DBSCAN erreichte einen durchschnittlichen MoJoFM von 72,7 %, was darauf hindeutet, dass das System effektiv Segmente gruppieren kann, die dasselbe spezifische Problem melden, da die Aufgabe im Vergleich zum Kontext-Clustering weniger, aber dafür deutlichere Instanzen beinhaltete.

Wesentliche Beiträge und Bedeutung
Der primäre Beitrag der Arbeit ist die Definition und Evaluierung von GELID, einer Pipeline, die über die Video-Ebene hinausgeht und zur Segment-Ebene der Detektion und hierarchischen Organisation von Spielproblemen übergeht. Die Autoren veröffentlichen ihr Dataset von 604 manuell segmentierten, gelabelten und geclusterten Videosegmenten sowie die Implementierung des Ansatzes.

Die Bedeutung der Arbeit liegt in der Identifizierung der spezifischen Engpässe der automatisierten Gameplay-Analyse. Die Autoren schließen bescheiden, dass während die Extraktion und Clusterung spezifischer Probleme machbar ist, die automatisierte Kategorisierung und kontextbasierte Clusterung derzeit noch nicht die für einen praktischen Einsatz erforderliche Präzision aufweisen. Sie betonen, dass die Kommentare der Streamer oft zu verrauscht und nicht mit den visuellen Ereignissen synchronisiert sind, als dass aktuelle NLP- und Computer-Vision-Techniken zuverlässig Problemtypen oder Spielkontexte unterscheiden könnten, ohne spielspezifische Anpassungen vorzunehmen. Die Arbeit dient als Baseline für die zukünftige Forschung und legt nahe, dass eine Verbesserung dieser Schritte größere kontextuelle Fenster für die Textanalyse, spielspezifische visuelle Merkmale oder spezialisierte Ansätze zur Erkennung visueller Anomalien unabhängig von der Sprache erfordern könnte.

1. Die Schere (Video-Segmentierung)

2. Der Sortierer (Segment-Kategorisierung)

3. Der Kartenzeichner (Kontext-Clustering)

4. Die Gruppierung (Issue-Clustering)

Das Urteil: Hat der Roboter Erfolg gehabt?

Mehr davon