Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking
Dieses Paper führt MT-InfoSeek ein, eine kontrollierte Evaluierungssuite, die zeigt, dass Large Language Models zwar die Notwendigkeit zusätzlicher Informationen bei unterdeterminierten Multi-Turn-Aufgaben erkennen können, aber systematisch den erforderlichen Umfang unterschätzen, nicht in der Lage sind, minimale hinreichende Abfragen zu identifizieren, und Schwierigkeiten mit der Abfolge von Abfragen haben, was eine deutliche Lücke zwischen ihren informationssuchenden Fähigkeiten und aktuellen Evaluationsmetriken offenbart.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Arzt vor, der einem Patienten gegenüber sitzt, der nur sagt: „Ich habe einen Schmerz.“ Um eine Diagnose zu stellen, darf der Arzt nicht raten; er muss spezifische Fragen stellen, um die fehlenden Details zu ergänzen. Ist der Schmerz stechend oder dumpf? Wo genau befindet er sich? Wie lange besteht er schon? In der Welt der künstlichen Intelligenz werden große Sprachmodelle oft auf ihre Fähigkeit getestet, Fragen zu beantworten, aber sie werden selten darauf getestet, zu wissen, wann sie nicht genügend Informationen haben, um überhaupt eine Antwort zu geben. Dies ist eine kritische Lücke. Eine fähige KI sollte erkennen, wenn eine Situation unvollständig ist, herausfinden, was genau fehlt, und danach fragen, bevor sie eine Schlussfolgerung zieht. Wenn sie zu früh rät, riskiert sie, mit voller Überzeugung falsch zu liegen.
Forscher der Harvard University und von Google DeepMind haben einen neuen Weg entwickelt, um genau diese spezifische Fähigkeit zu testen. Sie schufen eine kontrollierte Umgebung, in der einer künstlichen Intelligenz ein Puzzle mit fehlenden Teilen gegeben wird. Das Puzzle könnte ein mathematisches Problem mit einer verborgenen Zahl sein, ein Logikrätsel mit einem fehlenden Fakt oder ein medizinisches Szenario mit einem ungenannten Symptom. Das Ziel für die KI ist nicht nur, das Rätsel zu lösen, sondern den Prozess des Fragens der richtigen Fragen in der richtigen Reihenfolge zu steuern, bis die Antwort klar wird. Die Forscher wollten sehen, ob diese Modelle wie ein geschickter Ermittler agieren können, der genau weiß, welche Beweise benötigt werden, oder ob sie zu schnell eine Schlussfolgerung ziehen, obwohl die Hinweise unzureichend sind.
Das Team entwickelte eine Testsuite namens MT-INFOSEKE, die über 5.000 verschiedene Probleme aus fünf verschiedenen Bereichen enthält: Mathematik, Logik, Biologie, Medizin und Allgemeinwissen. In diesen Tests wird der KI ein Ausgangspunkt gegeben, der absichtlich unvollständig ist. In einem medizinischen Test könnte die KI beispielsweise wissen, dass ein Patient Beckenschmerzen hat, aber nicht wissen, wie lange die Schmerzen schon anhalten oder ob die Patientin schwanger ist. Die KI muss dann ein Gespräch führen und dabei eine Frage nach der anderen an ein „Orakel“ stellen – ein System, das die wahre Antwort auf die Frage liefert. Die KI muss entscheiden, wann sie aufhört zu fragen und ihre endgültige Antwort gibt. Die Forscher maßen den Erfolg nicht nur daran, ob die endgültige Antwort korrekt war, sondern auch daran, ob die KI tatsächlich genügend Informationen gesammelt hatte, um diese Antwort sicher zu treffen.
Die Ergebnisse zeigten eine signifikante Schwäche aktueller Modelle. Während die KI-Systeme im Allgemeinen erkannten, dass ihnen Informationen fehlten, unterschätzten sie konsequent, wie viel sie tatsächlich benötigten. Wenn die Forscher Probleme erstellten, die zwei fehlende Informationsteile erforderten, um sie zu lösen, schätzten die Modelle oft ein, dass nur ein Teil fehlte. In Logikrätseln war die Wahrscheinlichkeit, dass die Modelle die fehlenden Informationen unterschätzten, etwa viermal höher, als dass sie sie überschätzten. Sie hatten auch Schwierigkeiten, die spezifischen Fragen zu identifizieren, die das Problem tatsächlich lösen würden. Selbst wenn die Forscher den Modellen genau sagten, wie viele Fragen sie stellen mussten, versagten die Modelle oft dabei, das richtige Set an Fragen auszuwählen. Sie stellten irrelevante Fragen oder hörten zu früh auf, wodurch das Rätsel ungelöst blieb.
Die Studie untersuchte auch die Reihenfolge, in der die Fragen gestellt wurden. In Feldern wie der Medizin ist die Sequenz der Informationen entscheidend. Ein Arzt muss feststellen, ob ein Schmerz akut oder chronisch ist, bevor er entscheidet, welche Tests er als Nächstes anordnet. Die Forscher fanden heraus, dass die Genauigkeit der endgültigen Antwort signifikant sank, wenn die KI-Modelle zwar die richtigen Fragen stellten, aber in der falschen Reihenfolge. Dies deutet darauf hin, dass das Wissen, was man fragen muss, nur die halbe Miete ist; zu wissen, wann man es fragen muss, ist ebenso wichtig. Darüber hinaus entdeckten die Forscher, dass ein Modell sich von einer schlechten ersten Frage erholen konnte. Wenn ein Modell zu Beginn eine nutzlose Frage stellte, aber in den folgenden Durchgängen weiterhin relevante Fragen stellte, konnte es dennoch die korrekte Lösung erreichen. Viele Modelle scheiterten jedoch an dieser Ausdauer und brachen oft nach wenigen Runden ab, selbst wenn sie noch nicht genügend Beweise gesammelt hatten.
Die überraschendste Erkenntnis war vielleicht, dass die Fähigkeit eines Modells, gute Fragen zu stellen, von seiner Fähigkeit, eine gute Antwort zu geben, getrennt ist. Die Forscher testeten dies, indem sie ein Gespräch nahmen, in dem die KI alle notwendigen Informationen gesammelt hatte, und dann ein anderes Modell baten, das Rätsel allein basierend auf diesem Gespräch zu lösen. Sie fanden heraus, dass einige Modelle das Rätsel perfekt lösen konnten, wenn ihnen der vollständige Satz an Fakten vorgelegt wurde, selbst wenn sie selbst nicht in der Lage gewesen waren, diese Fakten zu sammeln. Dies bedeutet, dass das Versagen nicht in der Argumentation oder dem Wissen des Modells lag, sondern im Prozess der Informationsbeschaffung. Die Modelle waren nicht schlecht darin, Probleme zu lösen; sie waren schlecht darin, zu wissen, was sie nicht wussten.
Die Forscher kamen zu dem Schluss, dass die aktuellen Bewertungen künstlicher Intelligenz unvollständig sind. Die Messung der reinen Endgenauigkeit der Antwort eines Modells verschleiert die Tatsache, dass das Modell diese Antwort möglicherweise durch Raten oder durch das Ignorieren fehlender Informationen erreicht hat. Um wirklich zu verstehen, wie gut eine KI mit der Welt interagiert, müssen wir ihre Fähigkeit messen, Unsicherheit zu erkennen, zu identifizieren, was fehlt, und diese fehlenden Informationen Schritt für Schritt zu erwerben. Dieser neue Rahmen bietet eine Möglichkeit, genau das zu tun, und zeigt, dass diese Modelle zwar leistungsstark sind, aber noch immer den intuitiven Sinn eines menschlichen Experten vermissen lassen, der weiß, wann er aufhören muss zu raten und anfangen muss zu fragen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.