Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model
Dieses Paper zeigt auf, dass in großen Sprachmodellen die Eigenschaften, dass demografische Identität lesbar, treu strukturiert und kausal genutzt wird, drei dissoziierbare Phänomene sind, was offenbart, dass während spezifische Attention Heads gruppenbezogene Unterschiede im Umfrageformat mit hoher Treue kodieren können, diese Kodierung nicht zwangsläufig in der tatsächlichen kausalen Nutzung des Modells für die Generierung von Antworten resultiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle werden zunehmend dazu aufgefordert, als Stellvertreter für Menschen in der sozialwissenschaftlichen Forschung zu fungieren. Anstatt Monate und Millionen von Dollar auszugeben, um Tausende von echten Menschen zu interviewen, um zu verstehen, wie verschiedene Gruppen über Politik, Religion oder Wirtschaft denken, können Forscher einfach ein Computerprogramm bitten, diese Antworten zu simulieren. Die Hoffnung ist, dass diese digitalen Stellvertreter die subtilen Unterschiede zwischen einem jungen Demokraten und einem älteren Republikaner oder zwischen einem Hindus und einem Christen erfassen können, genau wie eine echte Umfrage. Doch eine wachsende Zahl von Belegen deutet darauf hin, dass diese Simulationen scheitern. Die Antworten des Computers neigen dazu, zu uniform, zu zustimmend und zu ähnlich zueinander zu sein, unabhängig von dem demografischen Etikett, das dem Prompt zugewiesen wurde. Das zentrale Rätsel war, ob dieses Scheitern darauf beruht, dass das Modell die Unterschiede zwischen diesen Gruppen schlichtweg nicht kennt, oder ob es die Unterschiede kennt, sie aber nicht verwendet, wenn es spricht.
Um dies zu lösen, setzte sich ein Forscher daran, in das „Gehirn“ eines großen Sprachmodells zu schauen, um zu sehen, wo demografische Informationen tatsächlich existieren. Die Untersuchung konzentrierte sich auf ein spezifisches Modell, Mistral-7B, und stellte drei unterschiedliche Fragen. Erstens: Ist die Information darüber, wer antwortet, aus den internen Signalen des Modells ablesbar? Zweitens: Ist diese Information so angeordnet, dass sie die reale Welt widerspiegelt, wobei der Abstand zwischen zwei Gruppen im Geist des Computers dem Abstand zwischen ihnen in der Realität entspricht? Und drittens: Verwendet das Modell diese interne Karte tatsächlich, wenn es eine Antwort generiert? Die Studie behandelte diese drei Fragen als separate Eigenschaften, in der Erkenntnis, dass ein Modell über eine getreue interne Karte verfügen kann, ohne sie jemals zu konsultieren, um eine Meinung zu bilden.
Die Forscher begannen damit, die interne Landschaft des Modells abzubilden. Sie erstellten Prompts für 1 69 verschiedene intersektionale Gruppen, wie etwa junge asiatische Demokraten oder mittelalte hinduistische Republikaner, und untersuchten den internen Zustand des Modells am Ende seiner Verarbeitung. Sie verglichen die interne Anordnung dieser Gruppen im Modell mit realen Umfragedaten des Pew Research Center, die als Grundwahrheit dienten, wie sich diese Gruppen tatsächlich in ihren Meinungen unterscheiden. Die Ergebnisse zeigten, dass die Standardmethode, dem Modell Gedankengänge zu lesen – indem man die finale Ausgabeschicht betrachtet –, irreführend schwach war. Sie suggerierte, das Modell habe eine verschwommene, undeutliche Sicht auf demografische Unterschiede. Doch als die Forscher tiefer blickten, auf die spezifischen Komponenten, aus denen die Verarbeitung des Modells besteht, fanden sie ein viel klareres Bild.
Die Information war nicht verloren gegangen; sie war nur in spezifischen, engen Kanälen verborgen. Die Studie entdeckte, dass die interne Geometrie des Modells von einzelnen Attention Heads dominiert wird, die spezialisierte Subprozessoren innerhalb des Modells sind. In fünf von sechs getesteten Arten von demografischen Attributen lieferte der beste einzelne Attention Head eine weita viel genauere Karte der Gruppenunterschiede als die gesamte finale Ausgabeschicht des Modells. Ein spezifischer Attention Head, der sich in der 11. Schicht des Modells befand, stach als bemerkenswert getreu hervor. Er enthielt eine Repräsentation aller sechs demografischen Typen – Alter, Bildung, Einkommen, Religion, politische Partei und politische Ideologie – die eng mit der realen Struktur übereinstimmte, wie diese Gruppen sich unterscheiden. Dieser einzelne Bestandteil trug eine Karte, in der die Beziehungen zwischen den Gruppen mit einer Treue angeordnet waren, die etwa 70 % des theoretischen Limits erreichte, das gemessen werden konnte, selbst unter Berücksichtigung der Tatsache, dass die Umfragedaten selbst ein gewisses Rauschen enthalten.
Doch die Tatsache, dass man im Modell eine getreue Karte fand, bedeutete nicht, dass das Modell diese auch verwendete. Die Forscher testeten daraufhin, ob diese genaue interne Anordnung tatsächlich die Antworten des Modells beeinflusste. Sie führten ein Kausalexperiment durch, bei dem sie die demografische Identität im Prompt austauschten und beobachteten, wie sich die vorhergesagten Meinungen des Modells verschoben. Das Ergebnis war drastisch: Die Änderung der gesamten Identität der Person im Prompt bewegte die vorhergesagten Antworten des Modells um weniger als 2 % ihres Gesamteffekts. Das Modell produzierte leicht unterschiedliche, aber gleichermaßen falsche Antworten für verschiedene Gruppen. Überraschenderweise fanden die Forscher auch, dass der Ort mit der getreuesten Karte nicht der Ort war, der die Antworten steuerte. Der klarste kausale Pfad, an dem eine Änderung des internen Zustands die Vorhersage des Modells zur Wahrheit bewegte, wurde in einem demografischen Typ gefunden, der eine der schwächsten internen Karten besaß. Umgekehrt zeigte der am treuesten angeordnete Typ keinen nachweisbaren kausalen Effekt, wenn die Forscher versuchten, in ihn einzugreifen.
Diese Diskrepanz deutet darauf hin, dass das Scheitern dieser Modelle bei der Simulation von Populationen nicht einfach ein Mangel an Wissen ist. Das Modell besitzt das detaillierte, genaue Wissen darüber, wie sich verschiedene Gruppen unterscheiden, insbesondere in Bezug auf politische und wirtschaftliche Faktoren, während sein Verständnis von Rasse und Religion schwach und instabil bleibt. Das Modell konsultiert diese Karte jedoch nicht, wenn es spricht. Die interne Geometrie ist getreu angeordnet, aber kausal von der finalen Ausgabe entkoppelt. Die Studie fand auch heraus, dass das direkte Lesen dieser internen Karte unter Verwendung eines mathematischen Probes auf diesem einzelnen treuen Attention Head Ergebnisse lieferte, die um 21 % bis 31 % näher an der wahren Umfrageseite lagen als die selbst generierten Antworten des Modells. Dennoch konnte selbst dieser überlegene Read-out die spezifische Reihenfolge der Meinungen für einzelne Fragen nicht besser vorhersagen als die eigenen fehlerhaften Antworten des Modells.
Die Implikationen dieser Ergebnisse sind bedeutsam für jeden, der versucht, künstliche Intelligenz zu nutzen, um die menschliche Gesellschaft zu verstehen. Die Forschung zeigt, dass man die Fähigkeit zur Simulation einer Population nicht einfach voraussetzen kann, nur weil ein Modell dazu gebracht werden kann, wie eine bestimmte Person zu agieren. Das Modell besitzt das Wissen, aber es verwendet es nicht in der Weise, wie es die Forscher hoffen. Darüber hinaus warnt die Studie davor, dass demografische Attribute nicht austauschbar sind; während das Modell ein starkes Verständnis politischer und wirtschaftlicher Identitäten hat, bleibt sein Verständnis von rassischen und religiösen Identitäten fragil und neigt dazu, bei geringfügigen Änderungen in der Fragestellung zu zerbrechen. Die Arbeit kommt zu dem Schluss, dass die Behandlung des internen Wissens eines Modells und seines externen Verhaltens als dasselbe die Debatte darüber, ob diese Modelle Populationen simulieren können, ungelöst lässt. Das Modell hat die Karte, aber es folgt nicht der Route.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.