TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering
Dieser Beitrag stellt TopBench vor, einen neuen Benchmark zur Evaluierung von Large Language Models hinsichtlich impliziter prädiktiver Reasoning-Fähigkeiten über tabellarische Daten, der zeigt, dass aktuelle Modelle Schwierigkeiten bei der Intent-Erkennung haben und häufig auf einfache Nachschlagevorgänge zurückgreifen, anstatt unbeobachtete Antworten aus historischen Mustern abzuleiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben ein riesiges, altmodisches Hauptbuch voller Aufzeichnungen über die Krankenversicherungsrechnungen von Menschen. Meistens, wenn Sie einen Computer fragen: „Wie viel hat der 37-jährige männliche Raucher gezahlt?", sucht er einfach genau diesen Namen im Buch nach und liest die Zahl ab. Das ist die alte Art, Dinge zu tun.
Aber was ist, wenn Sie fragen: „Mein Sohn ist 18, lebt im Südosten, raucht nicht und hat einen BMI von 30,14. Wie hoch wird seine Rechnung sein?" Der Computer kann ihn nicht einfach nachschlagen; er steht noch nicht im Buch. Der Computer muss die Antwort basierend auf Mustern, die er in der Geschichte aller anderen sieht, raten. Er muss wie ein Detektiv handeln, nicht nur wie ein Bibliothekar.
Dieser Artikel stellt einen neuen Test namens TOPBENCH vor, um zu prüfen, ob moderne KI-Computer (Large Language Models) gut darin sind, Detektive zu sein, oder ob sie sich nur so geben.
Das Problem: Der „Bibliothekar" vs. der „Detektiv"
Die Autoren stellten fest, dass die meisten KI-Modelle feststecken und wie Bibliothekare handeln. Wenn sie eine Frage über eine Person sehen, die nicht in den Daten enthalten ist, geraten sie in Panik. Anstatt eine Vorhersage zu erstellen, versuchen sie, die nächste Übereinstimmung im Buch zu finden, und kopieren einfach diese Zahl, oder sie erfinden eine Zahl, die gut klingt, aber nicht auf Mathematik basiert. Sie erkennen nicht, dass die Frage nach einer Vorhersage und nicht nach einer Nachschau fragt.
Die Lösung: TOPBENCH (Der Detektiv-Test)
Um dies zu beheben, entwickelten die Forscher eine neue Prüfung namens TOPBENCH. Es ist wie ein Trainingsgelände für KI-Detektive. Sie erstellten 779 knifflige Fragen basierend auf realen Daten (Gesundheit, Finanzen und Alltag), die von der KI vier spezifische Arten von „Detektivarbeit" erfordern:
- Ein-Punkt-Vorhersage: „Hier ist das Profil einer neuen Person. Wie hoch ist ihre Rechnung?" (Wie der Versuch, den Preis eines Hauses zu erraten, das man noch nie gesehen hat, basierend auf Trends der Nachbarschaft).
- Entscheidungsfindung: „Wer von diesen drei Personen wird am meisten zahlen?" (Vergleich von Zukünften, um einen Gewinner zu wählen).
- Behandlungseffekt: „Wenn diese Person in eine andere Stadt zieht und abnimmt, wird ihre Rechnung dann steigen oder fallen?" (Vorhersage des Ergebnisses einer Veränderung).
- Rangfolge und Filterung: „Finden Sie die Top 10 Personen, die am meisten zahlen werden." (Durchsuchen einer riesigen Menschenmenge, um die besten Kandidaten zu finden).
Die Ergebnisse: Die KI ist immer noch ein Anfänger
Die Forscher setzten die intelligentesten verfügbaren KI-Modelle (wie GPT-5, Claude und Gemini) diesem Test aus. Hier ist, was passierte:
- Sie geraten in die „Suchfalle": Wenn sie aufgefordert werden, eine Vorhersage zu treffen, versucht die KI oft, in der Datenbank nach einer exakten Übereinstimmung zu suchen. Wenn sie keine findet, gerät sie in Verwirrung. Es ist wie ein GPS, das versucht, eine Straße zu finden, die noch gar nicht existiert, anstatt die Route basierend auf der Karte zu berechnen.
- Die „Denk"-Modelle halfen nicht viel: Einige Modelle haben einen speziellen „Denk"-Modus, in dem sie mit sich selbst sprechen, um Probleme zu lösen. Überraschenderweise machte sie dies bei dieser spezifischen Aufgabe oft schlechter. Sie gerieten in eine Schleife, prüften Zeile für Zeile der Daten, versuchten, eine perfekte Übereinstimmung zu finden, die es nicht gab, bis ihnen der Speicher ausging.
- Werkzeuge helfen, aber nur wenn sie richtig verwendet werden: Wenn die KI schreiben und Code ausführen durfte (wie einen Taschenrechner), schnitt sie besser ab. Dennoch verwendeten viele Modelle einfache Mathematik anstatt ein ordentliches Vorhersagemodell zu erstellen. Sie versuchten, ein komplexes Puzzle mit einem Hammer statt mit einem Schraubenzieher zu lösen.
- Spezialisten vs. Generalisten: Modelle, die speziell auf Tabellen trainiert wurden (wie „TableLLM"), schnitten tatsächlich schlechter ab als die allgemeinen intelligenten Modelle. Es stellte sich heraus, dass ein Experte im Lesen von Tabellen nicht half, ihnen beizubringen, wie man die Zukunft vorhersagt.
Die große Erkenntnis
Der Artikel kommt zu dem Schluss, dass KI zwar hervorragend darin ist, bereits niedergeschriebene Fakten zu finden, aber immer noch sehr schlecht darin ist, die Zukunft basierend auf Daten zu imaginieren.
Um besser zu werden, braucht die KI zwei Dinge:
- Das Verständnis der Absicht: Sie muss erkennen: „Oh, diese Person steht nicht im Buch; ich muss eine Antwort berechnen, nicht eine finden."
- Bessere Mathematikkenntnisse: Sobald sie erkennt, dass sie berechnen muss, muss sie fortgeschrittene Werkzeuge verwenden (wie den Aufbau eines echten statistischen Modells) anstatt nur zu raten oder einfache Mathematik zu betreiben.
Derzeit ist die KI wie ein Schüler, der großartig darin ist, das Lehrbuch auswendig zu lernen, aber die Abschlussprüfung besteht, weil er die Regeln nicht auf ein neues Problem anwenden kann. TOPBENCH ist die neue Prüfung, die entwickelt wurde, um ihnen beizubringen, wie man denkt, nicht nur wie man sich erinnert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.