Beyond Questions: Evaluating What Large Language Models (Actually) Know
Dieser Beitrag stellt „Beyond Questions" (BeQu) vor, ein neues Paradigma zur Evaluierung von offenem Wissen, das große Sprachmodelle anhand des Wissens bewertet, das sie durch offene Elicitation natürlich zum Ausdruck bringen, anstatt anhand vordefinierter Fragen, und damit wesentliche Erkenntnisse über die Fähigkeiten von Modellen in Bezug auf verschiedene Faktoren wie Skalierung und Aufwand für das Schlussfolgern liefert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, was ein Schüler tatsächlich über eine berühmte historische Persönlichkeit weiß, wie etwa Martin Luther King Jr.
Der alte Weg (Der „Quiz-Show"-Ansatz)
Seit Jahren testen Forscher KI-Modelle wie ein strenger Quiz-Show-Moderator. Sie stellen spezifische, enge Fragen: „Was war sein Geburtsdatum?" oder „Wer war seine Frau?"
- Das Problem: Dies ist vergleichbar damit, einen Koch nur danach zu beurteilen, ob er ein grilled-cheese-Sandwich zubereiten kann. Wenn der Koch ein Meister-Pâtissier ist, aber bei Sandwiches versagt, sagt das Quiz, er sei ein schlechter Koch. Der Test misst nur das, was sich der Quiz-Designer eingebildet hat zu fragen. Wenn der Designer nie nach der Lieblingsfarbe des Kochs gefragt hat, bleibt das Wissen der KI über diese Tatsache unsichtbar. Dies wird als Verfügbarkeitsverzerrung (availability bias) bezeichnet.
Der neue Weg (Der „Show and Tell"-Ansatz)
Dieser Artikel stellt eine neue Methode vor, die Offene Wissensbewertung (Open Knowledge Evaluation) genannt wird. Anstatt ein Quiz zu machen, stellen Sie sich vor, Sie fragen die KI: „Erzählen Sie mir alles, was Sie über Martin Luther King Jr. wissen."
- Das Ziel: Wir prüfen nicht nur, ob die KI die richtige Antwort auf eine spezifische Frage gibt. Wir betrachten die gesamte Geschichte, die sie erzählt. Wir prüfen:
- Präzision: Hat sie Fakten erfunden (Halluzinationen)?
- Recall (Vollständigkeit): Hat sie sich alles erinnert, was sie weiß, oder hat sie wichtige Details ausgelassen?
Das Werkzeug: BeQu (Beyond Questions)
Um dies zu testen, haben die Autoren einen riesigen Spielplatz namens BeQu entwickelt.
- Sie wählten 10.000 zufällige Dinge (Personen, Orte, Ereignisse) aus Wikipedia aus.
- Sie erstellten für jede einzelne eine „Referenzbibliothek", in der Fakten aus Wikipedia und dem Web gesammelt wurden.
- Sie baten 20 verschiedene KI-Modelle, „alles zu erzählen, was sie über diese 10.000 Dinge wissen".
- Anschließend nutzten sie einen superintelligenten KI-Richter, um die Geschichten der Modelle mit der Referenzbibliothek zu vergleichen, um zu sehen, was wahr, was falsch und was fehlte.
Was sie fanden (Die Ergebnisse)
Große Modelle gewinnen immer noch (aber Open-Source-Modelle holen auf):
Betrachten Sie die KI-Modelle als Schüler. Die „kommerziellen" Schüler (kostenpflichtige, große Modelle wie Claude Opus) erzielen immer noch die besten Noten. Allerdings erreichen einige „Open-Source"-Schüler (kostenlose Modelle) bemerkenswert ähnliche Ergebnisse und beweisen, dass sie sehr wettbewerbsfähig sind.Nachdenken hilft nicht viel:
Man könnte denken: „Wenn ich der KI sage, sie soll ‚intensiver nachdenken' oder ‚mehr reasoning betreiben', bevor sie antwortet, wird sie mehr wissen." Der Artikel stellt fest, dass dies für diese spezifische Aufgabe größtenteils ein Mythos ist. Ob die KI 1 Sekunde oder 10 Sekunden „nachgedacht" hat, änderte die Menge der Fakten, die sie hervorbrachte, kaum. Das Wissen war bereits vorhanden; es musste nur ausgesprochen werden.Der „streng Lehrer" vs. der „kreative Schriftsteller":
Die Forscher versuchten, die KI zu zwingen, in einem strengen Format zu antworten (wie eine Tabelle mit spezifischen Spalten).- Ergebnis: Die KI wurde sehr genau (hohe Präzision), hörte aber auf, viele Fakten zu teilen (niedriger Recall). Es war wie ein Schüler, der nur genau das beantwortet, was der Lehrer fragt, und sich weigert, zusätzlichen Kontext hinzuzufügen.
- Umgekehrt, wenn sie frei und offen sein durfte, teilte die KI mehr Fakten, auch wenn sie gelegentlich einen kleinen Fehler machte.
Mehr zu verlangen bringt mehr (bis es nicht mehr tut):
Als die Forscher die KI baten, „5 Fakten" aufzulisten im Vergleich zu „100 Fakten", teilte die KI mit der größeren Anforderung normalerweise mehr Wissen mit. Wenn sie die KI jedoch zu sehr drängten, Hunderte von Fakten aufzulisten, fing sie an, Dinge zu erfinden (zu halluzinieren), nur um das Kontingent zu füllen.Der „Fake-Person"-Test:
Sie fragten die KI nach Dingen, die nicht existieren (wie den „Internationalen Flughafen von Andorra"). Die besten Modelle sagten einfach: „Ich weiß nichts darüber." Die schwächeren Modelle begannen, erfundene Details zu erfinden, was zeigte, dass sie raten statt zu wissen.
Das Fazit
Dieser Artikel argumentiert, dass wir aufhören müssen, KI wie eine Maschine für Multiple-Choice-Tests zu behandeln. Um wirklich zu verstehen, was eine KI weiß, müssen wir ihr erlauben, frei zu sprechen und zu sehen, wie viel von der realen Welt sie beschreiben kann, wie genau sie es beschreibt und was sie chooses, wegzulassen. Der neue „BeQu"-Benchmark ist ein Werkzeug, um diese „Show and Tell"-Fähigkeit zu messen und zeigt auf, dass die KI, obwohl sie intelligenter wird, noch viel verstecktes Wissen hat, das sie nicht immer zu teilen wählt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.