Can AI Guess What You Know? Performance Comparison of Large Language Models for Human Domain Knowledge Estimation From Communication Logs
Diese Studie bewertet die Fähigkeit von sieben Large Language Models, individuelles Domänenwissen aus Slack-Kommunikationsprotokollen abzuleiten, indem sie deren Zero-Shot-Schätzungen mit selbstberichteten Fähigkeiten vergleicht, und stellt fest, dass zwar Gemini 2.5 Flash die höchste Genauigkeit erreichte, die Inferenzleistung jedoch nur schwach vom Nachrichtenvolumen abhängt und den Bedarf an datenschutzkonformen und strukturbewussten Ansätzen unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten ein riesiges, geschäftiges Büro. Sie haben ein kniffliges Problem, wissen aber nicht, wen Sie fragen sollen. Ist es die Person in der Ecke, die den ganzen Tag über Programmieren spricht? Oder diejenige, die alles über Projektmanagement zu wissen scheint? Normalerweise müssten Sie herumlaufen, einige Leute fragen und hoffen, den richtigen Experten zu finden. Dieses „Raten-Spiel" verschwendet Zeit und Geld.
Dieser Artikel stellt eine einfache Frage: Kann eine KI als superaufmerksamer Praktikant fungieren, der den Chatverlauf aller liest und Ihnen sofort sagt, wer was weiß?
Hier ist die Aufschlüsselung ihres Experiments, einfach erklärt:
Das Setup: Der „Chat-Detektiv"
Die Forscher nahmen einen riesigen Haufen echter Chat-Nachrichten aus einem Slack-Konto eines Unternehmens (etwa 27.000 Nachrichten von 43 Personen über mehrere Jahre). Sie fütterten diese Nachrichten in sieben verschiedene „Superhirne" (Large Language Models wie GPT, Claude und Gemini).
Stellen Sie sich diese KI-Modelle als verschiedene Arten von Detektiven vor:
- Manche sind schnell, aber vielleicht etwas oberflächlich (wie ein schneller Scanner).
- Manche sind langsam, aber tiefe Denker (wie ein Professor, der ein Buch analysiert).
- Manche sind Generalisten, andere Spezialisten.
Die Aufgabe der KI bestand darin, die Chats zu lesen und einen „Fähigkeitsbericht" für jede Person zu erstellen. Wenn jemand also ständig über „Python" und „Data Science" sprach, würde die KI raten: „Diese Person kennt Python."
Der Realitätscheck: Das „Selbstbericht"-Verfahren
Um zu sehen, ob die KI ihren Job wirklich gut macht, baten die Forscher die echten Menschen, sich selbst zu bewerten. Sie erstellten eine einfache Website, auf der jede Person die Liste der Fähigkeiten betrachtete, die die KI gefunden hatte, und sagte: „Ja, das kann ich" oder „Nein, das kann ich nicht."
Dann verglichen die Forscher die Vermutung der KI mit der tatsächlichen Antwort des Menschen. Es ist wie ein Lehrer, der die Vermutung eines Schülers über die Testantworten mit dem echten Lösungsschlüssel vergleicht.
Die Ergebnisse: Wer hat den Wettbewerb gewonnen?
Die Forscher testeten sieben verschiedene KI-Modelle. Hier ist ihre Rangliste:
- Der Gewinner: Gemini 2.5 Flash war der beste Rater. Es lag bei einer Skala von 0–100 um etwa 21 Punkte daneben. (Wenn der Mensch angab, zu 80 % Experte zu sein, riet die KI bei etwa 59 % oder 101 %).
- Der Zweitplatzierte: Gemini 2.5 Pro lag knapp dahinter.
- Das Mittelfeld: Die Claude-Modelle (Haiku und Sonnet) waren okay, aber nicht so scharf wie die Gemini-Modelle.
- Die Schwierigkeiten: Die GPT-Modelle (einschließlich des sehr berühmten GPT-4o und GPT-5) schnitten am schlechtesten ab. Sie lagen im Durchschnitt um etwa 33 Punkte daneben.
Die große Erkenntnis: Selbst die beste KI war nicht perfekt. Sie konnte die grobe Idee erfassen, wer was weiß, aber sie konnte das genaue Niveau der Expertise nicht mit hoher Präzision bestimmen.
Die überraschende Wendung: Mehr Text ≠ Bessere Ratschläge
Man könnte denken: „Wenn ich der KI eine Million Nachrichten statt tausend gebe, wird sie dann nicht schlauer, oder?"
Nicht unbedingt. Die Forscher stellten fest, dass das bloße Vorhandensein von mehr Chatverlauf die Genauigkeit der Ratschläge der KI nicht automatisch verbesserte.
- Warum? Weil viele Chat-Nachrichten nur „Okay", „Verstanden" oder „Mittagessen um 1?" lauten. Diese verraten Ihnen nicht, was jemand weiß.
- Die Grenze: Sobald die KI ein Minimum an Chatmaterial hatte, um damit zu arbeiten, half das Hinzufügen von mehr nicht viel. Es ist wie der Versuch, den Lieblingsfilm einer Person zu erraten, indem man ihre Einkaufsliste liest; egal wie lang die Liste ist, sie verrät Ihnen nicht viel über ihren Geschmack im Kino.
Das Fazit
Die Studie beweist, dass KI in unsere Chat-Protokolle blicken und eine anständige Schätzung unserer Fähigkeiten abgeben kann. Sie ist ein nützliches Werkzeug, um eine grobe Karte von „wer was weiß" in einem Unternehmen zu erhalten.
Allerdings ist sie noch keine magische Kristallkugel. Die KI macht immer noch Fehler, und die berühmten GPT-Modelle kamen bei diesem spezifischen Test nicht einmal auf den ersten Platz. Die Forscher stellten auch fest, dass dies in der Praxis funktionieren würde, wenn Unternehmen sehr vorsichtig mit dem Datenschutz umgehen müssten, da das Senden privater Unternehmens-Chats an externe KI-Server ein sensibles Thema ist.
Kurz gesagt: KI wird besser darin, den Raum zu lesen, muss aber noch lernen, zwischen der tatsächlichen Expertise einer Person und ihrem alltäglichen Geplauder zu unterscheiden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.