Comparing Human and Large Language Model Interpretation of Implicit Information
Diese Studie untersucht die Diskrepanz zwischen menschlicher und KI-gestützter Interpretation impliziter Informationen durch die Einführung einer neuen Aufgabe zur Extraktion impliziter Daten, wobei festgestellt wird, dass Large Language Models im Vergleich zu Menschen in sozial kontextreichen Situationen zurückhaltender sind und eine geringere Abdeckung von Schlussfolgerungen aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Wenn Menschen und KI das „Zwischen den Zeilen" lesen – Ein Vergleich
Stell dir vor, du sitzt in einem Café und hörst zwei Gespräche.
Im ersten Gespräch unterhalten sich zwei Freunde. Einer sagt: „Ich habe heute Morgen den Bus verpasst." Der andere antwortet sofort: „Dann bist du sicher gestresst und hast vielleicht einen Kaffee getrunken, um wach zu werden." Niemand muss das explizit sagen. Beide verstehen die impliziten Bedeutungen: Stress, Kaffeebedarf, die Kette der Ereignisse. Sie nutzen ihr gemeinsames menschliches Verständnis, um die Lücken im Gespräch zu füllen.
Im zweiten Gespräch spricht ein Mensch mit einer Künstlichen Intelligenz (KI), genauer gesagt einem großen Sprachmodell (LLM). Der Mensch sagt: „Ich habe heute Morgen den Bus verpasst." Die KI antwortet vielleicht: „Das ist eine Tatsache. Der Bus wurde verpasst." Sie bleibt bei dem, was explizit auf dem Papier steht. Sie traut sich kaum, auf den Kaffee oder den Stress zu schließen, es sei denn, es steht wortwörtlich da.
Genau darum geht es in diesem Forschungsprojekt von Antonio De Santis und seinem Team der Politecnico di Milano. Sie wollten herausfinden: Wie gut verstehen KI-Modelle das, was nicht direkt gesagt wird, im Vergleich zu Menschen?
Das Experiment: Ein Wissens-Netzwerk bauen
Um das zu testen, haben die Forscher eine Art „Übersetzungs-App" entwickelt. Stell dir vor, sie geben einem Satz wie „Maria hat das Licht angelassen, als sie das Haus verließ" in die Maschine.
- Der menschliche Ansatz: Ein Mensch würde sofort denken: „Oh, Maria ist vergesslich", „Sie hat Angst vor Dieben", „Das Licht war an, als sie ging". Er baut ein komplexes Netz aus Gedanken und Schlussfolgerungen.
- Der KI-Ansatz: Die KI versucht, aus dem Satz ein strenges Diagramm (einen sogenannten „Wissensgraphen") zu bauen. Sie zieht Dreier-Gruppen (Subjekt, Beziehung, Objekt) heraus.
- Explizit: (Maria, verließ, Haus).
- Implizit: (Licht, warAn, Haus) – das ist schon eine Schlussfolgerung.
Die KI muss dabei aber auch prüfen: „Darf ich das wirklich so schreiben? Oder erfinde ich gerade etwas?"
Die wichtigsten Entdeckungen
Die Forscher haben zwei verschiedene KI-Modelle (Mistral und GPT) mit hunderten menschlichen Testpersonen verglichen. Hier sind die Ergebnisse, einfach erklärt:
1. Die KI ist ein ängstlicher Detektiv, der Mensch ein kühler Detektiv
In Situationen, die viel mit Gefühlen und sozialen Regeln zu tun haben (wie im SocialIQA-Datensatz), ist die KI extrem vorsichtig. Sie sagt lieber „Ich weiß es nicht", als ein falsches Schlussfolgerungsnetz zu spannen.
- Analogie: Die KI ist wie ein sehr strikter Bibliothekar, der nur Bücher ausleiht, die exakt auf dem Katalog stehen. Der Mensch ist wie ein Freund, der dir sagt: „Wenn er das Buch nicht zurückbringt, wird er sicher Ärger bekommen", auch wenn das Buch nicht im Katalog steht.
- Ergebnis: Die KI übersieht viele Dinge, die Menschen sofort verstehen. Sie ist zu „konservativ".
2. Bei Fakten ist die KI mutiger, der Mensch vorsichtiger
In kurzen, sachlichen Texten (wie im COPA-Datensatz) dreht sich das Blatt. Hier werden die Menschen strenger. Wenn ein Satz nur Fakten enthält, denken Menschen: „Da steht nichts von Gefühlen, also schließe ich nichts darauf." Die KI hingegen versucht manchmal noch, Verbindungen herzustellen, wo keine sind.
- Analogie: Bei einem Polizeibericht (Fakten) sagt der Mensch: „Der Dieb hat die Uhr gestohlen." Punkt. Die KI könnte denken: „Der Dieb hat wahrscheinlich Angst, dass er gefasst wird." Der Mensch denkt: „Nein, das steht da nicht."
3. Der Zeit-Aspekt: Die KI verliert den Takt
Menschen verstehen automatisch, was zuerst passiert und was danach. Wenn jemand sagt: „Er aß das Essen und ging dann", wissen wir: Essen -> Gehen.
Die KI hat hier große Schwierigkeiten. Sie weiß oft nicht, ob zwei Dinge gleichzeitig passieren oder nacheinander. Sie ist hier unsicherer als Menschen.
4. Die „Halluzinationen" waren selten
Gute Nachricht: Die KI hat nicht viel erfunden. Sie hat selten Dinge behauptet, die völlig falsch waren. Ihr Hauptproblem war nicht, dass sie lügt, sondern dass sie zu wenig sagt (zu wenig „Coverage").
Was bedeutet das für uns?
Die Studie zeigt, dass KI zwar Texte verstehen kann, aber den menschlichen „Gespür"-Faktor noch nicht hat.
- Wenn wir mit KI arbeiten, müssen wir uns bewusst machen: Die KI liest nur das, was da steht. Sie füllt die Lücken nicht automatisch mit menschlicher Intuition.
- Wenn wir Texte von KI lesen, sollten wir nicht automatisch annehmen, dass sie die tieferen sozialen Bedeutungen oder die genauen zeitlichen Abläufe „versteht", wie es ein Mensch tun würde.
Fazit:
Die KI ist wie ein sehr gut ausgebildeter Übersetzer, der jedes Wort kennt, aber noch nicht gelernt hat, wie man die Stimmung im Raum spürt. Menschen sind die Meister des „Zwischen-den-Zeilen-Lesens". Bis die KI so weit ist, müssen wir ihr helfen, diese Lücken zu überbrücken – oder einfach akzeptieren, dass sie manchmal zu vorsichtig ist, um wirklich „menschlich" zu wirken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.