BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
Dieses Paper stellt BEAR-Bench vor, einen zweisprachigen (Englisch-Russisch) Benchmark aus 1.000 von Menschen annotierten Fragen auf Basis textreicher Unternehmens- und akademischer Dokumente, um die komplexen Schlussfolgerungsfähigkeiten und die Zuverlässigkeit der Halluzinationserkennung multimodaler großer Sprachmodelle zu bewerten, wobei signifikante Leistungsunterschiede selbst unter modernsten Systemen aufgezeigt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt sind Computer bemerkenswert gut darin geworden, Bilder anzusehen und die darin enthaltenen Wörter zu lesen. Wenn man einer Maschine ein Foto eines Straßenschilds zeigt, kann sie sagen, was auf dem Schild steht. Zeigt man ihr eine Grafik aus einem Nachrichtenbericht, kann sie oft den Trend beschreiben, den die Linie beschreibt. Diese Fähigkeit, bekannt als multimodales Verständnis, kombiniert Sehen und Sprache zu einer einzigen Fertigkeit. Lange Zeit bestand die Herausforderung einfach darin, die Maschine dazu zu bringen, den Text klar zu lesen. Aber der nächste, schwierigere Schritt ist das logische Denken (Reasoning). Dies ist die Fähigkeit, ein komplexes Dokument zu betrachten, mehrere verschiedene Informationsteile zu finden, die über eine Seite verstreut sind, und sie zu verbinden, um eine Frage zu beantworten, die nirgendwo im Text geschrieben steht. Stellen Sie sich einen Finanzbericht vor, der voll von Tabellen, Diagrammen und Textabsätzen ist. Ein menschlicher Experte kann eine Zahl in einer Tabelle betrachten, sie mit einem Trend in einem Diagramm vergleichen und dann einen Satz im Text lesen, um zu verstehen, warum sich diese Zahlen geändert haben. Einer Maschine beizubringen, dieselbe Art des Denkens anzuwenden, insbesondere wenn das Dokument dicht mit Informationen gefüllt ist und in Sprachen außer Englisch verfasst wurde, blieb eine schwierige Grenze.
Ein Team von Forschern von Yandex und dem Applied AI Institute hat einen bedeutenden Schritt zur Lösung dieses Problems unternommen, indem sie einen neuen Test entwickelt haben, der speziell für diese Art des komplexen Denkens konzipiert ist. Sie nennen ihre Kreation BEAR-Bench. Im Gegensatz zu bisherigen Tests, die sich auf einfaches Lesen konzentrierten oder voraussetzten, dass der Computer externes Wissen besitzt, fragt dieser neue Benchmark die Maschinen nach der Lösung von Problemen unter Verwendung ausschließlich der auf einer einzelnen Dokumentenseite vorhandenen Informationen. Der Test ist zweisprachig und umfasst sowohl Englisch als als auch Russisch – eine Wahl, die eine Lücke in der aktuellen Technologie aufzeigt, bei der Maschinen oft mit Sprachen außer Englisch und Chinesisch Schwierigkeiten haben. Die Forscher sammelten tausend reale Dokumente, die von unternehmensbezogenen Finanzberichten und Investorenpräsentationen bis hin zu akademischen wissenschaftlichen Arbeiten reichen. Diese Seiten sind nicht einfach; sie sind vollgepackt mit Text, Tabellen, Diagrammen, Diagrammen und mathematischen Formeln.
Um diesen Test zu erstellen, haben die Forscher die Computer nicht einfach nur Fragen generieren lassen. Sie engagierten dreizehn menschliche Experten, von denen jeder einen Abschluss in einem technischen Bereich besitzt, um die Fragen und Antworten von Hand zu schreiben. Für jedes einzelne Bild einer Seite musste ein Experte eine Frage erstellen, die mehrere Schritte zur Lösung erforderte. Eine Frage könnte beispielsweise verlangen, dass der Computer einen spezifischen Wert in einer Tabelle findet, sich ein verwandtes Diagramm ansieht, um zu sehen, wie sich dieser Wert im Laufe der Zeit verändert hat, und dann einen Satz im Text liest, um den Grund für diese Änderung zu erklären. Dem Computer war es nicht erlaubt, externes Wissen zu verwenden; er musste die Antwort vollständig innerhalb des bereitgestellten Bildes finden. Dies stellte sicher, dass der Test die Fähigkeit der Maschine maß, mit dem vor ihr liegenden Dokument zu argumentieren, anstatt ihre Fähigkeit, Fakten aus dem Internet auswendig zu lernen. Die Forscher filterten die Dokumente auch sorgfältig, um sicherzustellen, dass sie genügend visuelle Komplexität wie Diagramme und Gleichungen enthielten, um die Aufgabe anspruchsvoll zu gestalten.
Als die Forscher sechzehn verschiedene Modelle der künstlichen Intelligenz durch diesen Test schickten, zeichneten die Ergebnisse ein klares Bild davon, wo die Technologie heute steht. Die leistungsfähigsten Modelle, also die fortschrittlichsten derzeit verfügbaren Systeme, schafften es, etwa fünfundsiebzig Prozent der Fragen korrekt zu beantworten. Obwohl dies beeindruckend klingen mag, bedeutet es auch, dass selbst die klügsten Maschinen immer noch bei etwa jeder vierten Frage Fehler machen. Die Studie ergab, dass diese Modelle deutlich schlechter abschneiden, wenn die Dokumente auf Russisch statt auf Englisch sind, was bestätigt, dass Sprache weiterhin eine erhebliche Hürde darstellt. Darüber hinaus spielte die Art des Dokuments eine Rolle; die Modelle hatten tendenziell mehr Schwierigkeiten mit Geschäftsberichten als mit wissenschaftlichen Arbeiten, und sie hatten besondere Probleme, wenn die Fragen von ihnen verlangten, Gegenstände zu zählen oder Informationen aus verschiedenen Teilen einer Seite zu kombinieren.
Die Forscher untersuchten auch genau, warum die Maschinen scheiterten. Sie fanden heraus, dass die häufigsten Fehler nicht auf einen Mangel an Logik zurückzuführen waren, sondern auf einfache Wahrnehmungsprobleme. Die Computer lasen oft eine Zahl in einer Tabelle falsch, bemerkten ein spezifisches Etikett auf einem Diagramm nicht oder wurden verwirrt darüber, wohin ein Pfeil zeigte. Sobald die Maschine ein einziges visuelles Detail falsch las, brach das gesamte logische Denken zusammen. Dies deutet darauf an, dass diese Systeme, bevor sie zu echten Experten in der Analyse von Dokumenten werden können, viel besser darin werden müssen, die kleinen Details klar zu sehen.
Über das bloße Testen der Modelle hinaus nutzten die Forscher die Ergebnisse, um zu sehen, ob es eine Möglichkeit gibt, zu erkennen, wann eine Maschine einen Fehler macht. In vielen realen Situationen reicht es nicht aus zu wissen, dass ein Computer falsch liegen könnte; man muss einen Weg finden, diesen Fehler zu erkennen, bevor er Schaden anrichtet. Das Team testete verschiedene Methoden zur Erkennung dieser Fehler. Sie fanden heraus, dass bei geschlossenen, proprietären Systemen, bei denen sie die internen Abläufe nicht einsehen konnten, der beste Weg, einen Fehler zu erkennen, darin bestand, ein anderes leistungsstarkes KI-Modell einzusetzen, das als Richter fungiert und die Antwort überprüft. Bei offenen Systemen, bei denen sie in den Code schauen konnten, stellten sie fest, dass das Überprüfen der eigenen internen Konfidenzsignale des Computers gut funktionierte, jedoch bei sehr langen, detaillierten Erklärungen des Computers an seine Grenzen stieß. Die Studie kommt zu dem Schluss, dass wir zwar Fortschritte machen, aber noch keinen perfekten Weg haben, jeden Fehler abzufangen, und dass die besten Systeme noch viel Raum für Verbesserungen lassen.
Diese Arbeit ist wichtig, weil sie die Diskussion über das bloße Lesen hinausführt. Sie zeigt, dass Maschinen zwar Text lesen können, aber noch lernen müssen, damit zu denken. Durch die Erstellung eines Tests, der schwierig, zweisprachig und auf reale Dokumente fokussiert ist, haben die Forscher eine klare Karte erstellt, wo die Technologie stark und wo sie schwach ist. Sie haben aufgezeigt, dass der Weg nach vorne nicht nur größere Modelle erfordert, sondern bessere Wege, um mit der chaotischen, detaillierten Realität professioneller Dokumente in mehreren Sprachen umzugehen. Bis Maschinen in der Lage sind, zuverlässig ein Diagramm zu lesen, es mit einer Tabelle abzugleichen und die Verbindung zu erklären, ohne sich in den Details zu verlieren, wird ihr Einsatz in hochsensiblen Bereichen wie Finanzen und Wissenschaft eine sorgfältige menschliche Aufsicht erfordern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.