Can Open-Weight Models Compete on Financial Text Comprehension?
Diese Arbeit evaluiert aktualisierte Financial Touchstone-Benchmarks mit zwanzig Modellen und zeigt auf, dass Open-Weight-Modelle wie Kimi K2.6 trotz anhaltender Engpässe bei der Informationsbeschaffung und inkonsistenter geopolitischer Verweigerungsverhaltensweisen chinesischer Modelle mit proprietären Systemen in der finanziellen Textverständnis konkurrieren können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer lernen, wie Menschen zu lesen, zu schreiben und zu denken. Dieses Feld, die Künstliche Intelligenz (KI), ist kürzlich mit neuen Modellen explodiert, die chatten, mathematische Probleme lösen und sogar Code schreiben können. Aber es gibt einen Haken: Viele dieser superintelligenten Computer sind „Black Boxes“. Wir wissen, dass sie funktionieren, aber wir wissen nicht genau, wie sie gebaut wurden oder welche Geheimnisse ihr Code in sich birgt. Vor kurzem ist eine neue Welle dieser Modelle aus chinesischen Laboren aufgetaucht, die „Open-Weight“ sind, was bedeutet, dass ihre Blaupausen öffentlich für jeden zum Studium bereitstehen – im Gegensatz zu den geheimen, verschlossenen Versionen großer amerikanischer Tech-Unternehmen. Die große Frage, die sich jeder stellt, lautet: Können diese offenen, öffentlichen Modelle tatsächlich die harte, langweilige, aber superwichtige Arbeit leisten, Finanzberichte zu lesen und die Wahrheit zu finden, oder sind sie nur gut darin, klug zu klingen?
Dieses Papier ist wie ein massiver, hochriskanter Test für zwanzig dieser KI-Modelle. Die Forscher haben eine „Financial Touchstone“-Challenge aufgebaut, was im Grunde eine riesige Bibliothek von 495 echten Geschäftsberichten von Unternehmen aus der ganzen Welt ist, gepaart mit 2.967 kniffligen Fragen zu diesen. Stellen Sie sich vor, man gibt einem Studenten einen Stapel von 495 Lehrbüchern und fragt ihn: „Wie viel Gewinn hat Unternehmen X im Jahr 2022 gemacht?“ oder „Was sind die drei Hauptgeschäftsbereiche?“ Das Ziel war zu sehen, welche KI die richtigen Antworten finden konnte, ohne Dinge zu erfinden (ein Problem, das als „Halluzination“ bezeichnet wird) und ohne stecken zu bleiben, weil sie nicht die richtige Seite im Buch finden konnte.
Die Ergebnisse waren eine totale Wendung der Handlung. Lange Zeit dachten die Leute, man bräuchte ein spezielles „Reasoning“-Gehirn oder ein geheimes, proprietäres Modell, um komplexe Finanzmathematik zu bewältigen. Aber diese Studie fand heraus, dass Open-Weight-Modelle schnell aufholen. Tatsächlich kam das Open-Weight-Modell namens Kimi K2.6 auf dem dritten Platz insgesamt und schlug mehrere berühmte, geheime amerikanische Modelle! Das Top-Performer-Modell war tatsächlich ein Modell namens Claude Opus 4.6, das 88,4 % der Antworten richtig beantwortete. Es gibt jedoch eine Wendung in der Geschichte: Während einige Modelle großartig darin waren, die richtige Antwort zu finden, waren andere fantastisch darin, nicht Dinge zu erfinden. Googles Gemini 2.5 Pro hatte die niedrigste Rate an Lügen, mit einer Halluzinationsrate von nur 0,08 %, aber es war nicht das Beste darin, die Antworten überhaupt erst zu finden.
Die Forscher entdeckten auch, dass das größte Problem für all diese KI-Modelle nicht ihre Gehirne waren, sondern ihre Augen. Fast die Hälfte aller Fehler (48,9 %) passierte, weil der Computer einfach nicht die richtige Seite im riesigen Bericht finden konnte, um sie zu lesen. Es ist wie ein Genie zu haben, das das Buch im Regal nicht finden kann. Ein weiterer seltsamer Befund war, dass einige chinesische Modelle einen „Safety Filter“ hatten, der plötzlich weigerte, völlig normale Finanzfragen zu beantworten, wenn der Bericht bestimmte politische Figuren oder Ereignisse erwähnte – wie ein Student, der sich weigert, eine Prüfung abzulegen, weil das Thema ihn an eine Regel erinnerte, die er nicht brechen durfte.
Was ist also das Fazente? Das Papier legt nahe, dass Open-Weight-Modelle nun stark genug sind, um mit den besten geheimen Modellen der Welt beim Verständnis von Finanzen zu konkurrieren. Sie müssen keine „Reasoning“-Supercomputer sein, um einen großartigen Job zu machen; manchmal funktioniert ein einfacheres, offenes Modell genauso gut. Aber die Studie warnt auch, dass wir noch einen weiten Weg vor uns haben. Die Computer werden besser im Lesen, aber sie kämpfen immer noch damit, die richtigen Informationen in riesigen Dokumenten zu finden, und manchmal werden sie durch Sicherheitsregeln blockiert, die zu sensibel sind. Der Autor kommt zu dem Schluss, dass wir zwar kurz davor sind, KI-Assistenten zu haben, die echte Finanzberichte bearbeiten können, wir aber erst die Art und Weise verbessern müssen, wie sie nach Informationen suchen, bevor wir ihnen unser Geld voll vertrauen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.