Infini-News: Efficiently Queryable Access to 1.3 Billion Processed Common Crawl News Articles
Die Arbeit stellt Infini-News vor, ein umfassendes Toolkit und einen Index, der über 1,3 Milliarden Common-Crawl-Nachrichtenartikel mit angereicherten Metadaten und Spracherkennung verarbeitet und es Forschern ermöglicht, das gesamte Archiv in unter einer Sekunde effizient nach beliebigen Textmustern abzufragen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten untersuchen, wie die Welt in den letzten zehn Jahren über große Ereignisse gesprochen hat. Sie benötigen eine massive Bibliothek von Nachrichtenartikeln.
In der Vergangenheit hatten Sie zwei schlechte Optionen:
- Die Paywall: Gehen Sie zu einem kommerziellen Nachrichtenarchiv (wie eine hochpreisige Bibliothek). Es hat alles, kostet aber ein Vermögen, und Sie dürfen die Bücher weder mit Ihren Freunden teilen noch aus dem Gebäude herausbringen.
- Der Roh-Dump: Gehen Sie zum „Common Crawl", einem riesigen, kostenlosen Lagerhaus des gesamten Internets. Es hat alles, ist aber ein chaotisches Durcheinander aus Terabytes roher HTML-Dateien. Um einen einzigen Artikel zu finden, müssten Sie Ihren eigenen Bagger bauen, durch Berge digitalen Abfalls wühlen und Monate damit verbringen, die Daten zu bereinigen, bevor Sie überhaupt mit dem Lesen beginnen könnten.
Infini-News ist die Lösung, die die Autoren entwickelt haben, um dies zu beheben. Denken Sie daran als an einen superkräftigen, vorbereinigten und sofort durchsuchbaren Index für das größte kostenlose Nachrichtenarchiv der Welt.
So funktioniert es, aufgeteilt in einfache Teile:
1. Die große Aufräumaktion (Das „vorverarbeitete Korpus")
Die Autoren nahmen das rohe, chaotische Lagerhaus (180 Terabyte Daten) und führten es durch eine ausgeklügelte Reinigungsmaschine.
- Was sie taten: Sie entfernten die Werbung, die „Jetzt abonnieren"-Pop-ups, die Navigationsleisten und den defekten Code.
- Das Ergebnis: Sie landeten bei 1,35 Milliarden sauberen Nachrichtenartikeln von August 2016 bis heute. Es ist, als würde man einen Haufen unsortierten Schrotts in ein ordentlich organisiertes Lagerhaus mit fertigen Autos verwandeln. Sie müssen kein Mechaniker mehr sein, um es zu nutzen; Sie fahren einfach das Auto.
2. Die intelligenten Etiketten (Metadaten-Anreicherung)
Ein Haufen von 1,35 Milliarden Artikeln ist immer noch überwältigend. Sie müssen wissen, was Sie betrachten. Die Autoren fügten jedem Artikel drei Schichten „intelligenter Etiketten" hinzu:
- Sprach-Tags: Sie haben die Sprache nicht einfach geraten; sie verwendeten drei verschiedene „Detektive" (KI-Klassifizierer), um die Sprache zu etikettieren. Wenn ein Detektiv unsicher ist, überprüfen die anderen nach. Dies deckt über 1.000 Sprachen ab, von Englisch und Spanisch bis hin zu seltenen Dialekten.
- Woher es stammt: Sie versuchten herauszufinden, aus welchem Land jeder Artikel stammt. Sie nutzten Hinweise wie die Webadresse (z. B.
.defür Deutschland), die Adresse des Verlags im Footer und Listen bekannter Nachrichtenagenturen. Sie konnten den Ursprung für 83 % der Artikel in 222 Ländern erfolgreich kennzeichnen. - Warum es wichtig ist: Dies ermöglicht Forschern, Fragen zu stellen wie: „Wie sah die Berichterstattung über den Krieg in Deutschland im Vergleich zu Brasilien aus?", ohne jeden einzelnen Artikel manuell lesen zu müssen.
3. Die magische Suchmaschine (Infini-gram-Indizes)
Dies ist der beeindruckendste Trick. Normalerweise würde die Suche durch 1,35 Milliarden Artikel Stunden oder Tage dauern.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, einen bestimmten Satz in einer Bibliothek mit einer Milliarde Büchern zu finden. Eine normale Suchmaschine müsste jedes Buch öffnen, jede Seite lesen und prüfen, ob die Wörter übereinstimmen. Das ist langsam.
- Der Infini-News-Trick: Sie bauten einen Suffix-Array-Index. Stellen Sie sich dies als eine magische, ultra-detaillierte Karte jedes einzelnen Wortes und jeder Phrase in der Bibliothek vor.
- Die Geschwindigkeit: Mit dieser Karte können Sie eine Phrase eingeben (selbst etwas Seltsames wie „Klimawandel" oder ein spezifisches Zitat), und das System findet jeden Fall davon in weniger als einer Sekunde.
- Kein Download erforderlich: Sie müssen nicht die gesamte Bibliothek herunterladen, um sie zu durchsuchen. Sie fragen einfach die Karte ab, erhalten eine Liste von „Buch-IDs" und laden dann nur die spezifischen Artikel herunter, die Sie benötigen. Dies spart Forschern riesige Festplatten.
Was können Sie damit tun?
Die Arbeit hebt einige spezifische Möglichkeiten hervor, wie Forscher dieses Werkzeug nutzen können:
- Zeitreise: Sie können verfolgen, wie sich eine Geschichte über 10 Jahre verändert hat (longitudinale Analyse).
- Der Gerüchtenachfolger: Sie können sehen, wie eine bestimmte Nachricht oder ein gefälschtes Zitat von einer Zeitung zur anderen verbreitet wurde (Content-Syndikation).
- Globaler Vergleich: Sie können vergleichen, wie verschiedene Länder dasselbe Ereignis behandelt haben.
- KI-Sicherheit: Sie können prüfen, ob ein neuer KI-Chatbot auf bestimmten Nachrichtenstories trainiert wurde, indem Sie nach exakten Übereinstimmungen suchen.
Der Haken (Einschränkungen)
Die Autoren sind ehrlich darüber, was dieses Werkzeug nicht kann:
- Es ist nicht live: Die Nachrichten stammen aus dem Archiv, daher gibt es eine leichte Verzögerung. Sie können es nicht nutzen, um Breaking News in Echtzeit zu überwachen.
- Fehlende Paywalls: Es enthält nur kostenlose Nachrichten. Wenn eine Zeitung einen Artikel hinter einer „Paywall" versteckt, hat Infini-News ihn nicht.
- Das „Roboter"-Problem: Um 2023 begannen viele Nachrichtenwebsites, KI-Crawler zu blockieren. Die Autoren stellten einen Rückgang neuer Artikel bestimmter Seiten danach fest, sodass die Daten für sehr aktuelle Zeiträume möglicherweise etwas weniger vollständig sind.
- Keine perfekten Etiketten: Die Länder- und Sprachetiketten sind sehr gut (etwa 89 % genau), aber sie sind nicht zu 100 % perfekt. Von Forschern wird erwartet, dass sie bei Bedarf absolute Präzision überprüfen.
Das Fazit
Infini-News ist ein „retrieval-first"-Werkzeugkasten. Anstatt Forscher zu zwingen, eine Bibliothek in der Größe einer kleinen Stadt herunterzuladen, gibt es ihnen einen Schlüssel, der es ihnen ermöglicht, sofort genau die Seiten zu finden, die sie benötigen, und nur diese herunterzuladen. Es verwandelt einen chaotischen, unzugänglichen Datenberg in eine saubere, durchsuchbare und kostenlose Ressource für die Untersuchung, wie die Welt kommuniziert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.