On the Role of Citations in Preference Data
Diese Arbeit untersucht, wie menschliche Richter und Open-Source-LLMs Zitate in der wissenschaftlichen Beantwortung von Fragen bewerten, wobei sie aufzeigt, dass Menschen vielfältige, aber weniger Zitate bevorzugen, während LLMs zitatenbezogene Präferenzen aufweisen, die je nach Modell und Daten variieren, und damit entscheidende Erkenntnisse für die Verbesserung der Präferenzdatenerhebung im Reward Modeling bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine spezifische Art von Aufgabe zentral dafür geworden, wie diese Systeme lernen und sich verbessern: ein Computer wird gebeten, zwischen zwei Antworten die bessere auszuwählen. Dieser Prozess, bekannt als Präferenzlernen, ist der Motor hinter dem modernen KI-Training. Wenn ein System zwei verschiedene Antworten auf eine Frage generiert, entscheidet ein Richter – entweder ein menschlicher Experte oder ein anderes KI-Programm – darüber, welche davon überlegen ist. Diese Entscheidungen werden dann genutzt, um das ursprüngliche System zu lehren, wie es sich eher wie ein vertrauenswürdiger Experte verhält. Ein entscheidendes Puzzleteil blieb jedoch unklar: Wenn diese Richter Antworten bewerten, die Verweise auf externe Quellen enthalten, sogenannte Zitate, wonach genau suchen sie? Werten sie die bloße Anzahl der Quellen, die Vielfalt dieser Quellen oder die Aktualität der Informationen? Das Verständnis dessen ist von entscheidender Bedeutung, da Zitate dazu dienen sollen, ein Schutzschild gegen Fabrikationen zu bilden, das es Nutzern ermöglicht, zu überprüfen, ob eine KI die Wahrheit sagt. Wenn die Systeme, die KI trainieren, nicht verstehen, wie sie diese Referenzen korrekt gewichten müssen, könnten die resultierenden Modelle lernen, die falschen Dinge zu priorisieren, wie etwa viele Quellen aufzulisten, ohne deren Qualität zu prüfen, oder die Glaubwürdigkeit der Informationen gänzlich zu ignorieren.
Ein Team von Forschern setzte sich zum Ziel, genau diese Frage zu untersuchen, indem es untersuchte, wie sowohl menschliche Experten als auch künstliche Intelligenz-Programme wissenschaftliche Antworten bewerten, die Zitate enthalten. Sie konzentrierten sich auf ein Szenario, in dem eine KI eine komplexe wissenschaftliche Frage gestellt wird und eine lange, detaillierte Antwort liefert, die durch Verweise auf akademische Arbeiten gestützt wird. Die Forscher sammelten tausende dieser Antwortpaare, bei denen eine Antwort von menschlichen Experten gegenüber der anderen bevorzugt wurde, und baten dann vier verschiedene große Sprachmodelle, dieselben Entscheidungen zu treffen. Um die verborgenen Regeln hinter diesen Entscheidungen zu verstehen, nutzte das Team eine statistische Methode, die es ermöglichte, spezifische Merkmale der Antworten zu isolieren, wie etwa die Anzahl der verwendeten Zitate, die Diversität der Quellen und ob die Referenzen mit dem Text übereinstimmten, während andere Faktoren wie die Länge der Antwort kontrolliert wurden.
Die Studie offenbarte ein deutliches und etwas überraschendes Muster darin, wie Menschen diese Antworten beurteilen. Wenn Menschen die wissenschaftlichen Antworten überprüften, bevorzugten sie Antworten, die aus einer großen Vielfalt verschiedener Quellen schöpften, was darauf hindeutet, dass sie Breite und Perspektive schätzten. Sie bevorzugten jedoch auch Antworten, die weniger Zitate enthielten. Dies deutet darauf darauf hin, dass Menschen zwar sehen wollen, dass eine Antwort gut recherchiert ist, aber von Antworten abgeschreckt werden, die sich durch eine übermäßige Anzahl von Referenzen überladen anfühlen. Darüber hinaus reagierten Menschen empfindlich auf Antworten, bei denen die im Text genannten Referenzen nicht mit der Liste der Quellen am Ende übereinstimmten – ein häufiger Fehler, der darauf hindeutet, dass die KI Referenzen erfinden könnte. Interessanterweise spielte das Alter der Quellen für die menschlichen Richter kaum eine Rolle; sie zeigten keine starke Präferenz für neuere gegenüber älteren Arbeiten.
Im Gegensatz dazu verhielten sich die Richter aus künstlicher Intelligenz ganz anders, und ihre Präferenzen variierten je nachdem, welches spezifische Modell die Bewertung vornahm. Während die KI-Modelle ebenfalls dazu neigten, vielfältige Quellen zu mögen, zeigten sie oft eine viel stärkere Reaktion auf die Anzahl der Zitate als Menschen. Einige der KI-Richter missbilligten Antworten mit vielen Zitaten stark, während andere indifferent waren. Kritischer noch war, dass die KI-Modelle die nicht übereinstimmenden Referenzen, die Menschen als so problematisch empfanden, nicht bemerkten oder bestraften. Stattdessen wurden die KI-Richter stark von oberflächlichen Merkmalen beeinflusst, wie etwa der Länge der Antwort. Mehrere der Modelle bevorzugten konsistent längere Antworten, ungeachtet dessen, ob die zusätzliche Länge einen Wert hinzufügte oder nur Platz füllte. Dies deutet darauf hin, dass diese KI-Systeme ohne spezifisches Training oder Zugriff auf die tatsächlichen Quelldokumente die Zitate nicht wirklich „lesen“, um deren Genauigkeit zu verifizieren, sondern statlich auf die visuellen oder strukturellen Muster des Textes reagieren.
Die Forscher fanden heraus, dass diese Unterschiede nicht bloß kleine Eigenheiten, sondern signifikante Abweichungen waren, die beeinflussen könnten, wie zukünftige KI-Systeme trainiert werden. Da KI-Modelle oft dazu verwendet werden, Daten für das Training anderer Modelle zu kennzeichnen, könnte das Vertrauen auf sie ohne Verständnis ihrer spezifischen Vorurteile (Biases) dazu führen, dass ein System lernt, die Länge oder die Anzahl der Zitate gegenüber der tatsächlichen Genauigkeit und der Diversität der Quellen zu priorisieren. Die Studie hebt hervor, dass KI zwar die menschliche Urteilskraft in vielerlei Hinsicht imitieren kann, ihr jedoch das intuitive Verständnis fehlt, was eine Referenz glaubwürdig oder konsistent macht. Die Autoren schlagen vor, dass Entwickler vorsichtiger bei der Erhebung von Präferenzdaten sein müssen, indem sie sicherstellen, dass die menschlichen Richtlinien klar bezüglich der Zitatzqualität sind und dass KI-Richter entweder Werkzeuge zur Verifizierung von Quellen erhalten oder basierend auf einem tiefen Verständnis ihrer spezifischen Biases ausgewählt werden. Letztlich dient diese Arbeit als Erinnerung daran, dass in dem Bestreben, KI zuverlässiger zu machen, die Details dessen, wie wir sie bitten, zwischen Antworten zu wählen, genauso wichtig sind wie die Antworten selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.