Detection != Reliable Control: Decodable Empathy Directions Yield at Most Partial Shifts in Automated Empathy Scores
Diese Arbeit zeigt, dass dekodierbare Empathie-Richtungen in instruktionsoptimierten LLMs zwar zuverlässig automatisierte Empathie-Scores erkennen und teilweise verschieben können, jedoch keine zuverlässigen kausalen Hebel für eine umfassende Kontrolle darstellen, da sie insbesondere keine messbaren, von Menschen wahrgenommenen Veränderungen oder konsistenten Effekte über verschiedene Empathie-Facetten und Modelle hinweg erzeugen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz sind Forscher zunehmend daran interessiert, ob Maschinen menschliche Emotionen wirklich verstehen können. Eine populäre Idee legt nahe, dass wir, wenn wir ein spezifisches Muster im „Gehirn“ eines Computers finden können, das einem Gefühl wie Empathie entspricht, in der Lage sein sollten, einen Regler zu drehen, um die Maschine dazu zu bringen, mehr davon auszudrücken. Dieses Konzept beruht auf der Überzeugung, dass, wenn ein Computer „gelesen“ werden kann, um zu zeigen, dass er eine bestimmte Eigenschaft besitzt, er auch „gesteuert“ werden kann, um diese Eigenschaft nach Belieben zu ändern. Dies ist besonders wichtig, da diese Systeme eingesetzt werden, um Menschen in Notlage emotional zu unterstützen, wobei der Unterschied zwischen einer hilfreichen Reaktion und einer kalten Antwort signifikant sein kann. Die Annahme jedoch, dass das Erkennen eines Gefühls in einer Maschine dasselbe ist wie die Fähigkeit, es zuverlässig zu steuern, wurde im komplexen, realen Kontext der Empathie noch nie streng geprüft.
Eine neue Studie der University of Southern California stellt diese Annahme infrage, indem sie drei verschiedene große Sprachmodelle untersucht, welche die leistungsstarken KI-Systeme hinter vielen modernen Chatbots sind. Die Forscher konzentrierten sich auf zwei verschiedene Teile der Empathie, die Psychologen schon lange anerkannt haben: die Fähigkeit, die Perspektive eines anderen Menschen zu verstehen, bekannt als kognitive Empathie, und die Fähigkeit, dessen Gefühle zu teilen oder mit ihnen zu resonieren, bekannt als affektive Empathie. Das Team bestätigte zunächst, dass es tatsächlich in der Lage war, Signale für beide dieser Eigenschaften innerhalb der internen Abläufe der KI-Modelle zu detektieren. Sie fanden spezifische Richtungen in den Daten des Computers, die Antworten mit hoher Empathie klar von solchen mit geringer Empathie unterschieden. Diese Detektion funktionierte gut, was darauf hindeutet, dass die Modelle tatsächlich interne Repräsentationen dieser Konzepte besitzen.
Der entscheidende Test war jedoch, ob das Hinzufügen eines kleinen Schubs in die Richtung dieser detektierten Signale tatsächlich das Verhalten der KI auf eine bedeutsame Weise verändern würde. Die Forscher wandten diese Schübe an – sie versuchten effektiv, die Modelle in Richtung mehr Empathie zu lenken – und maßen dann die Ergebnisse mithilfe mehrerer automatisierter Richter und eines spezialisierten Klassifizierers. Die Ergebnisse zeigten eine scharfe Trennung zwischen den beiden Arten der Empathie. Als das Team versuchte, die affektive oder emotionale Resonanz zu erhöhen, sahen sie eine messbare Veränderung, die jedoch nur partiell war. Im leistungsstärksten Modell steigerte die Intervention den Empathie-Score um etwa ein Viertel der natürlichen Lücke zwischen einer neutralen Antwort und einer voll empathischen Antwort. Die KI wurde nicht voll empathisch; sie verschob sich lediglich leicht in diese Richtung. In den anderen getesteten Modellen war der Effekt sogar noch kleiner, manchmal kaum wahrnehmbar.
Die Geschichte war bei der kognitiven Empathie, der Fähigkeit, die Situation eines anderen Menschen zu verstehen und zu artikulieren, eine andere. Hier fanden die Forscher, dass die automatisierten Scores sich nicht änderten, egal wie sie versuchten, die Modelle zu steuern. Die Studie bietet jedoch eine entscheidende Nuance: Dieser Mangel an Veränderung war nicht notwendigerweise der Beweis dafür, dass die KI nicht empathischer gemacht werden konnte. Stattdessen wurde festgestellt, dass die Werkzeuge, die zur Messung der kognitiven Empathie verwendet wurden, zu stumpf waren, um die subtilen Unterschiede zu erkennen, die die Intervention möglicherweise erzeugt hatte. Die Messinstrumente konnten den Unterschied zwischen einer völlig neutralen Nachricht und einer hochgradig emotionalen Nachricht erkennen, konnten aber nicht zuverlässig zwischen zwei verschiedenen Ebenen des Verständnisses innerhalb des Bereichs der emotionalen Unterstützung unterscheiden. Da das Messwerkzeug selbst nicht empfindlich genug war, kamen die Forscher zu dem Schluss, dass der Effekt der Steuerung unmessbar und nicht als Null bewiesen war.
Vielleicht am bedeutendsten war der Befund der Studie, dass selbst wenn sich die automatisierten Scores verschoben, es keinen Hinweis darauf gab, dass menschliche Leser die Veränderung wahrnehmen würden. Ein Gremium aus menschlichen Freiwilligen wurde gebeten, die gesteuerten Antworten zu beurteilen, aber sie konnten nicht konsistent identifizieren, welche Antworten empathischer waren. Dies deutet darauf hin, dass die Veränderungen, die die KI vornahm, nicht die Art von Verschiebungen waren, die ein Mensch bemerken oder als wertvoll erachten würde. Die Forscher testeten auch, ob das vollständige Entfernen dieser Empathie-Signale die KI weniger empathisch machen würde. In einem spezifischen Modell führte das Entfernen des Signals für kognitives Verständnis zwar zu niedrigeren Scores, aber dieser Effekt war an das Schreiben kürzerer Antworten der KI gekoppelt, was das Messwerkzeug wiederum sanktionierte. Als die Forscher die Textlänge berücksichtigten, blieb der Effekt auf den kognitiven Score bestehen, es war jedoch dennoch kein sauberer, zuverlässiger Schalter, mit dem man das Verhalten der KI kontrollieren konnte.
Letztendlich zeigt die Studie, dass das Finden eines Signals für Empathie in einer KI nicht dasselbe ist wie das Besitzen einer zuverlässigen Kontrolle, um diese zu erzeugen. Zwar können die Modelle dazu gebracht werden, etwas mehr emotionale Resonanz zu zeigen, doch der Effekt ist begrenzt und überträgt sich nicht in eine vom Menschen wahrgenommene Verbesserung. Die Fähigkeit, eine Eigenschaft zu detektieren, garantiert nicht die Fähigkeit, sie zu steuern, insbesondere wenn die Werkzeuge, die das Ergebnis messen, nicht fein genug abgestimmt sind, um die Veränderungen zu sehen. Dieser Befund dient als Warnung für diejenigen, die hoffen, KI für emotionale Unterstützung einzusetzen, da er darauf hindeutet, dass das bloße Hochdrehen eines „Empathie-Reglers“ möglicherweise nicht die echte, menschliche Verbindung liefert, die benötigt wird. Die Forschung hebt die Lücke zwischen dem, was eine Maschine sagen kann, und dem, was ein Mensch tatsächlich als Empathie erlebt, hervor, und mahnt zu einem vorsichtigeren Umgang mit der Messung und Kontrolle dieser komplexen Verhaltensweisen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.