💬 NLP

Building a Multimodal Dataset of Academic Paper for Keyword Extraction

Diese Studie adressiert den Mangel an multimodalen Ressourcen für die Schlüsselwortextraktion durch die Konstruktion eines neuen Datensatzes von 1.000 wissenschaftlichen Arbeiten, die Text, Bilder und Audio enthalten, und demonstriert, dass die Fusion von Informationen aus diesen vielfältigen Modalitäten die Extraktionsleistung im Vergleich zur ausschließlichen Verwendung von Text signifikant verbessert.

Ursprüngliche Autoren: Jingyu Zhang, Xinyi Yan, Yi Xiang, Yingyi Zhang, Chengzhi Zhang

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jingyu Zhang, Xinyi Yan, Yi Xiang, Yingyi Zhang, Chengzhi Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die wichtigsten Zutaten in einem riesigen, komplexen Rezeptbuch zu finden. Normalerweise versuchen Menschen, wenn sie die Schlüsselzutaten auswählen (was Forscher als „Schlüsselwörter“ bezeichnen), nur den geschriebenen Text des Rezepts zu lesen. Sie ignorieren dabei die Bilder des fertigen Gerichts oder die Audioaufnahme des Kochs, der die Schritte erklärt.

Dieses Paper argumentiert, dass wir, indem wir die Bilder und die Audioaufnahme ignorieren, viel Geschmack verlieren. Die Autoren haben eine neue „Küche“ (einen Datensatz) gebaut, um zu testen, ob das Betrachten der gesamten Mahlzeit – Text, Bilder und Audio zusammen – hilft, die wichtigsten Zutaten besser zu identifizieren.

Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben:

1. Das Problem: Ein einseitiges Gespräch

Lange Zeit waren Computer sehr gut darin, Texte zu lesen, um Schlüsselwörter zu finden. Aber in der realen Welt besteht Information nicht nur aus Text. Es ist eine Mischung aus:

Text: Die eigentlichen Wörter auf der Seite.
Bilder: Folien, Diagramme und Fotos.
Audio: Der Klang eines Sprechers beim Reden.

Die Autoren sagen, dass wir, wenn wir nur dem „Text“-Teil des Gesprächs zuhören, die Hinweise verpassen, die in den Bildern und der Stimme verborgen sind. Außerdem gab es bisher kein echtes „Rezeptbuch“, das all diese drei Dinge zusammengeführt hatte, damit Forscher sie gemeinsam untersuchen können.

2. Die Lösung: Ein neues „Rezeptbuch“ bauen

Um dies zu beheben, hat das Team einen brandneuen Datensatz erstellt, der als Multimodaler Datensatz bezeichnet wird.

Was ist darin enthalten? Sie haben 1.000 Stichproben aus akademischen Konferenzen gesammelt.
Die Zutaten: Für jede einzelne Stichprobe haben sie gesammelt:
1. Das geschriebene Paper (der Text).
2. Die Präsentationsfolien (die Bilder).
3. Die Aufnahme des Sprechers (das Audio).
4. Die Liste der Schlüsselwörter, die die Autoren ursprünglich gewählt haben (der „Lösungsschlüssel“).

Stellen Sie sich das wie einen Lernführer vor, bei dem jede Seite neben dem Essay auch Diagramme und eine Aufnahme des Lehrers enthält, der ihn erklärt, alles perfekt synchronisiert.

3. Das Experiment: Der Geschmackstest

Sobald sie ihren Datensatz hatten, führten sie einen „Geschmackstest“ mit verschiedenen Computerprogrammen (Modellen) durch, um zu sehen, welche Methode die Schlüsselwörter am besten finden kann. Sie testeten drei Szenarien:

Die Text-nur-Diät: Dem Computer wird nur das geschriebene Paper gefütet.
Die Audio- & Bild-Diät: Dem Computer wird nur der aus der Audioaufnahme transkribierte Text oder der aus den Bildern erkannte Text (mittels OCR, was wie ein Roboter ist, der ein Schild liest) gefütet.
Das Buffet: Dem Computer wird eine Mischung aus allen drei Textquellen kombiniert gefütet.

4. Die Ergebnisse: Was hat am besten funktioniert?

Hier ist, was der „Geschmackstest“ enthüllte:

Das geschriebene Paper ist der Star: Der Text aus den eigentlichen akademischen Papern war die zuverlässigste Quelle. Er enthielt die reichhaltigsten Informationen, sodass die Computer hier die beste Arbeit bei der Suche nach Schlüsselwörtern leisteten.
Audio ist eine gute Beilage: Der aus der Stimme des Sprechers transkribierte Text war hilfreich, aber nicht ganz so gut wie das geschriebene Paper.
Bilder sind der schwierige Teil: Der aus den Folien (Bildern) extrahierte Text schnitt am schlechtesten ab. Die Autoren erklären dies so, als würde man versuchen, eine Speisekarte zu lesen, die auf einer verschwommenen, zerknitterten Serviette steht; der Computer wurde oft durch Hintergrundgeräusche oder schlechte Beleuchtung verwirrt, was den Text schwer lesbar machte.
Die Kraft des Buffets (Fusion): Die wichtigste Entdeckung war, dass das Kombinieren aller drei Quellen besser funktionierte als die Nutzung von nur einer. Auch wenn der Text aus den Bildern unordentlich war, konnte der Computer, wenn er das Paper, das Audio und den Text aus den Bildern gleichzeitig betrachtete, die Lücken füllen. Wenn ein Schlüsselwort im Paper fehlte, aber in der Audioaufnahme erwähnt wurde, erfasste die „Buffet“-Methode es.

5. Das Fazit

Die Hauptlektion dieses Papers ist, dass der geschriebene Text zwar die wichtigste Zutat ist, aber das Ignorieren der anderen Teile der Präsentation (Stimme und Folien) dazu führt, dass Informationen liegen gelassen werden.

Indem sie diesen neuen Datensatz bauten und bewiesen, dass das Mischen dieser verschiedenen Arten von Informationen die Fähigkeit des Computers verbessert, Schlüsselwörter zu finden, haben die Autoren Forschern ein neues Werkzeug gegeben. Es ist, als würde man ein Rezept nicht nur im Dunkeln lesen, sondern mit einer Taschenlampe, einem Bild des Gerichts und einer Aufnahme des Kochs gleichzeitig.

Kurz gesagt: Sie haben eine neue Bibliothek aus gemischten Medien akademischer Arbeiten gebaut und bewiesen, dass Computer die Schlüsselwörter viel klarer erfassen, wenn sie den Text lesen, dem Audio zuhören und die Folien gleichzeitig betrachten.

Technische Zusammenfassung: Aufbau eines multimodalen Datensatzes akademischer Arbeiten für die Schlüsselwortextraktion

Problemstellung
Aktuelle Aufgaben der Schlüsselwortextraktion stützen sich überwiegend auf Textdaten und vernachlässigen dabei oft visuelle Details und Audio-Merkmale, die in multimodalen akademischen Inhalten inhärent sind. Diese Abhängigkeit führt zu Defiziten in der Informationsreichhaltigkeit und übersieht potenzielle Korrelationen zwischen den Modalitäten, was die Fähigkeit eines Modells einschränkt, präzise Datendarstellungen zu erlernen. Darüber hinaus leidet das Forschungsfeld unter einem Mangel an multimodalen Datensätzen, die spezifisch für die Schlüsselwortextraktion konzipiert sind, was die Entwicklung und Validierung multimodaler Extraktionsmethoden behindert. Während akademische Informationen zunehmend durch Text, Bilder (Folien) und Audio (Vorträge) verbreitet werden, versäumen es bestehende Methoden, diese vielfältigen Quellen effektiv zu nutzen.

Methodik
Um diese Lücken zu schließen, konstruiert die Studie einen neuen multimodalen Datensatz und evaluiert die Leistung der Schlüsselwortextraktion über verschiedene Modalitäten und Fusionsstrategien hinweg.

Datensatzkonstruktion: Die Autoren kuratierten einen Datensatz aus 1.000 akademischen Arbeitsproben, die aus VideoLectures.net und der SPIE Digital Library stammen. Jede Probe umfasst:
- Arbeitstext: Der Volltext der akademischen Arbeit.
- Folienbilder: Präsentationsfolien, die aus Konferenzvideos extrahiert wurden.
- Audio: Sprechaufnahmen aus den Präsentationen.
- Schlüsselwörter: Von Autoren bereitgestellte Schlüsselwörter, die als Ground Truth dienen.
- Vorverarbeitung: Die Pipeline umfasste Web-Scraping, Videosegmentierung (unter Verwendung von HLS/DASH-Protokollen), Audioextraktion (OpenCV), Folien-Deduplizierung mittels struktureller Ähnlichkeitsalgorithmen und optische Zeichenerkennung (OCR) für den Folientext. Audio-Transkripte wurden mittels automatischer Spracherkennung (ASR) erstellt. Alle Modalitäten wurden basierend auf Zeitstempeln abgeglichen. Die Datenbereinigung beinhaltete das Entfernen von fehlerhaften Zeichen und Inkonsistenzen in der Formatierung.
Experimentelles Setup: Die Studie setzte sowohl unüberwachte als auch überwachte Schlüsselwortextraktionsmodelle ein:
- Unüberwacht: TF-IDF, TextRank und SVM (mit Unterabtastung zur Klassenausgleichung).
- Überwacht: CRF, BiLSTM-CRF und BERT-BiLSTM-CRF.
- Input-Variationen: Experimente wurden unter Verwendung von Text durchgeführt, der ausschließlich aus Arbeiten ( $P_t$ ), Audio ( $A_t$ ) und Bildern ( $I_t$ ) sowie einem konkatenierten multimodalen Text ( $M_t$ ) besteht, der alle drei Quellen kombiniert.
- Evaluierung: Die Leistung wurde mittels Präzision, Recall und dem F1-Score (F1@3, F1@5, F1@10) basierend auf dem exakten Abgleich mit den von den Autoren bereitgestellten Schlüsselwörtern gemessen.

Wesentliche Ergebnisse

Modalitätsleistung: Der Arbeitstext lieferte konsistent die beste Leistung bei der Schlüsselwortextraktion über die meisten Modelle hinweg, insbesondere bei überwachten Ansätzen wie CRF und SVM. Der Audiotext schnitt moderat gut ab, während der Bildtext (abgeleitet aus OCR) am schlechtesten abschnitt. Die Autoren führen die geringe Leistung des Bildtexts auf Rauschen und Hintergrundinterferenzen zurück, welche die OCR-Genauigkeit beeinträchtigen, sowie auf die Einschränkungen der Audioqualität und Hintergrundgeräusche beim Audiotext.
Effektivität der Fusion: Die Konkatenierung von Text aus Arbeit, Audio und Bild ( $M_t$ ) verbesserte die Leistung der Schlüsselwortextraktion in mehreren Modellen effektiv, insbesondere bei Deep-Learning-Architekturen wie BiLSTM-CRF und BERT-BiLSTM-CRF. Dies deutet darauf hin, dass Informationen aus verschiedenen Modalitäten einander ergänzen können; beispielsweise konnten Schlüsselwörter, die im Arbeitstext fehlten, manchmal aus Audio- oder Bildtext wiederhergestellt werden.
Modellvergleich: Deep-Learning-Modelle (BiLSTM-CRF, BERT-BiLSTM-CRF) übertrafen im Allgemeinen traditionelle statistische Methoden (TF-IDF, TextRank), wenn sie den konkatenierten multimodalen Datensatz nutzten. Dennoch blieben traditionelle Modelle wie CRF und SVM robust, wobei CRF eine starke Leistung allein auf Basis des Arbeitstextes zeigte.

Wesentliche Beiträge

Datensatzerstellung: Die Studie schließt eine kritische Lücke, indem sie den ersten multimodalen Datensatz bereitstellt, der speziell auf die akademische Schlüsselwortextraktion zugeschnitten ist und 1.000 hochwertige Proben mit abgeglichenen Text-, Bild- und Audiomodalitäten umfasst.
Empirische Validierung: Die Forschung zeigt, dass die Konkatenierung von Text aus Arbeit, Bild und Audio die Genauigkeit der Schlüsselwortextraktion im Vergleich zur Nutzung einzelner Modalitäten verbessern kann.
Methodische Erkenntnis: Die Arbeit hebt die unterschiedlichen Charakteristika verschiedener Modalitäten hervor und stellt fest, dass, obwohl der Arbeitstext die primäre Quelle für Schlüsselwörter ist, die multimodale Fusion eine umfassendere semantische Erfassung ermöglicht, was potenziell dazu beiträgt, die Einschränkungen von Einzelquellen-Daten zu überwinden.

Bedeutung und zukünftige Richtungen
Das Papier behauptet, dass seine primäre Bedeutung darin liegt, neue Datenressourcen für die multimodale akademische Forschung bereitzustellen und die Schlüsselwortextraktion hin zur Nutzung breiterer modaler Daten voranzutreiben, wodurch die Algorithmusgenauigkeit und -robustheit erhöht wird. Die Autoren nehmen eine bescheidene Haltung ein und räumen ein, dass ihre aktuellen Experimente lediglich den aus den Modalitäten extrahierten Textinhalt verwendeten und dabei einzigartige Merkmale wie das visuelle Layout (Schriftgröße, Fettdruck) in Folien oder akustische Merkmale (Sprachenergie, Dauer) in Audio ignorierten. Sie schlagen vor, dass zukünftige Arbeiten diese spezifischen Modalitätsmerkmale untersuchen und die Selbstlern- und Generalisierungsfähigkeiten großer Sprachmodelle nutzen sollten, um die multimodale Schlüsselwortextraktion weiter zu verbessern.

1. Das Problem: Ein einseitiges Gespräch

2. Die Lösung: Ein neues „Rezeptbuch“ bauen

3. Das Experiment: Der Geschmackstest

4. Die Ergebnisse: Was hat am besten funktioniert?

5. Das Fazit

Mehr davon