When the Interviewer Is a Bot: Behavior, Breakdowns, and Trust in MLLM-Led Interviews

Der Interviewer in der Maschine

Stellen Sie sich vor, Sie versuchen zu verstehen, wie Menschen denken, fühlen oder Probleme lösen. Seit Jahrzehnten machen Wissenschaftler dies, indem sie sich mit Menschen zusammensetzen und ihnen Fragen auf eine „semi-strukturierte“ Weise stellen. Denken Sie an dies wie eine geführte Wanderung: Der Forscher hat eine Karte (einen Entwurf der zu behandelnden Themen), aber er kann auch vom Pfad abweichen, um interessanten Pfaden zu folgen, die der Wanderer aufzeigt. Diese Methode ist leistungsstark, weil sie flexibel ist, aber sie ist auch anstrengend. Es braucht viel Zeit und Energie eines Menschen, zuzuhören, die richtigen Folgefragen zu stellen und den Gesprächsfluss natürlich aufrechtzuerhalten.

Vor kurzem ist ein neues Werkzeug auf den Plan getreten: das Large Multimodal Model (MLLM). Sie kennen vielleicht diese superintelligenten KI-Chatbots, die sprechen, hören und sehen können. Wissenschaftler begannen sich zu fragen: „Können wir die KI einfach das Interview führen lassen?“ Es klingt wie ein wahr gewordener Traum der Effizienz. Aber es gibt einen Haken. Interviews sind nicht nur reine Datenextraktion; sie sind soziale Tänze, die auf Vertrauen, Augenkontakt und dem Gefühl basieren, dass jemand wirklich zuhört. Wenn wir den Menschen durch einen Bot ersetzen, funktioniert der Tanz dann noch? Oder verstummt die Musik? Dieses Paper untersucht genau diese Frage und testet, was passiert, wenn ein Roboter die Führung in einem echten Gespräch übernimmt.

---

Der Bot, der versuchen wollte, ein Mensch zu sein

Ein Team von Forschern entwickelte ein System namens InterviewBot, um herauszufinden, was wirklich passiert, wenn eine KI ein echtes, sprachbasiertes Interview führt. Sie haben keinen ausgeklügelten neuen „Roboter-Verstand“ gebaut; statieessen sie stattdessen ein leistungsstarkes, fertiges KI-Modell genommen und es in eine einfache Benutzeroberfläche eingebettet, die es ihnen ermöglichte, eine Liste von Themen einzuspeisen. Sie wollten sehen, wie dieses „Standard“-KI-Modell agiert, wenn man es sich selbst überlassen lässt und es als Interviewer für 15 echte Personen einsetzt.

Der Aufbau war simpel: Ein Teilnehmer setzte sich hin, und der InterviewBot stellte ihm Fragen zu seinen Erfahrungen mit KI-Tools. Nachdem der Bot fertig war, kam ein menschlicher Forscher zurück und fragte den Teilnehmer: „Und, wie hat sich das angefühft?“

Die Ergebnisse waren eine Mischung aus überraschenden Fehlern und tiefen Erkenntnissen darüber, wie wir Maschinen vertrauen. Hier ist das, was die Forscher entdeckten.

Die „schlechten Angewohnheiten“ des Bots

Als die Forscher die Gesprächsphasen des Bots analysierten (die spezifischen Momente, in denen er sprach), stellten sie fest, dass die KI einige deutliche Eigenheiten hatte.

Erstens war der Bot sehr gut darin zu nicken, aber schlecht darin, tief zu graben. Er war „akzeptanzlastig, aber probe-arm“ (acknowledgment-heavy but probe-light). Von jedem seiner Gesprächsbeiträge verbrachte er viel Zeit damit, Dinge zu sagen wie „Das ist interessant“ oder „Ich verstehe“. Wenn es jedoch darum ging, tiefe Folgefragen zu stellen, um mehr Details zu erhalten, tat er dies kaum. Nur 4,9 % seiner Beiträge waren tiefe Nachfragen. Es war wie ein Freund, der zu allem, was man sagt, „Wow!“ sagt, aber nie fragt: „Warum?“ oder „Erzähl mir mehr“.

Zweitens hatte der Bot Schwierigkeiten, die grundlegendste Regel des Gesprächs einzuhalten: eine Frage zur Zeit. Obwohl die Forscher dem Bot explizit sagten: „Stelle eine Frage zur Zeit“, ignorierte der Bot diese Anweisung in 28,7 % der Fälle, in denen er Fragen stellte. Er packte zwei oder drei Fragen in einen einzigen Satz. Das Ergebnis? Die Teilnehmer wurden oft verwirrt und beantworteten oft nur den ersten Teil, wodurch der Rest der Daten ungenutzt blieb.

Drittens gab es technische Probleme. Die Forscher bemerkten vier Hauptwege, wie das Interview scheiterte:

1. Informationsverlust: Da der Bot zu viele Fragen auf einmal stellte, übergingen die Menschen Teile der Aufforderung.
2. Vorzeitiges Beenden: In einem Fall hörte der Bot einfach auf zu sprechen, während der Teilnehmer noch mitten in einem Gedanken war.
3. Latenz: Manchmal dauerte es so lange, bis der Bot antwortete, dass die Leute dachten, er sei abgestürzt oder habe sie vergessen.
4. Unterbrechung: Das System versuchte, Menschen das Unterbrechen zu ermöglichen (ein Feature namens „Barge-in“), aber die Technologie war nicht perfekt. Anstatt die Leute sprechen zu lassen, unterbrach der Bot sie oft, was das Gespräch abgehackt und unhöflich wirken ließ.

Wie die Menschen sich fühlten: Der „Geist“ im Raum

Der faszinierendste Teil der Studie war nicht die Fehler des Bots, sondern wie die Menschen darauf reagierten. Die Forscher fanden drei große Themen in der Art und Weise, wie Menschen über das Interview durch einen Roboter empfanden.

1. Das Paradoxon zwischen „Sicherem Raum“ und „Oberflächlichem Gespräch“
Einige Teilnehmer fühlten sich überraschend wohl dabei, mit dem Bot zu sprechen. Da kein Mensch sie anstarrte oder ihr Akzent oder ihre Ideen bewertete, fühlten sie sich weniger unter Druck gesetzt. Eine Person bemerkte: „Er war nicht verwirrt... er hat meinen Punkt sehr schnell auf den Punkt gebracht.“ Dieser Mangel an Bewertung gab ihnen ein Gefühl der Sicherheit.

Es gab jedoch eine Kehrseite. Da sie keinen sozialen Druck verspürten, einen Menschen zu beeindrucken, verspürten sie auch nicht das Bedürfnis, sich die Mühe zu machen, ihre Gedanken tiefgründig zu erklären. Ein Teilnehmer gab zu: „Ich hatte einfach nicht das Bedürfnis, tiefer in all meine Antworten einzutauchen.“ Der Bot schuf einen Raum, in dem es leicht war, anzufangen zu reden, aber schwer, in die Tiefe zu gehen. Es war wie das Sprechen mit einem Spiegel: Man kann alles sagen, aber der Spiegel drängt einen nicht dazu, etwas mehr zu sagen.

2. Vertrauen in die „Institution“, nicht in die „Stimme“
Wenn Menschen beurteilten, ob das Interview fair oder legitim war, achteten sie nicht darauf, wie gut der Bot sprach. Sie achteten darauf, was der Bot repräsentierte. Wenn der Bot für eine standardisierte Aufgabe eingesetzt wurde (wie eine kurze Umfrage), hielten die Leute das für völlig in Ordnung. Aber wenn es sich so anfühlte, als würde die Organisation einen Bot benutzen, weil sie zu beschäftigt seien, um mit ihnen zu sprechen, fühlten sich die Menschen respektlos behandelt.

Ein Teilnehmer sagte: „Wenn ich an ein KI-Interview denke, denke ich irgendwie, dass das Unternehmen keine Zeit hatte, sich Zeit für mich zu nehmen.“ Der Bot war nicht nur ein Werkzeug; er war ein Signal. Wenn ein Unternehmen einen Bot nutzte, signalisierte dies, dass sie nicht genug investieren wollten, um Zeit in die Person zu investieren. Dies geschah, obwohl der Bot eigentlich recht gut darin war, dem Skript zu folgen!

3. Zuhören vs. nur Nicken
Die Teilnehmer waren sehr scharf darin, „geschauskelte“ Aufmerksamkeit zu erkennen. Der Bot verwendete viele generische Phrasen wie „Wow, das ist interessant“ oder „Ich verstehe“. Die Teilnehmer hassten das. Sie bezeichneten es als „Phrasen wiederholen“ und empfanden es als hohl.

Stattdessen liebten sie es, wenn der Bot das Gesagte tatsächlich paraphrasierte. Wenn der Bot ihre spezifischen Worte nahm und sie umformulierte, um zu zeigen, dass er den Inhalt verstanden hatte, fühlten sich die Teilnehmer gehört. Es stellte sich heraus, dass „aktives Zuhören“ für einen Roboter nicht bedeutet, „Ich fühle dich“ zu sagen, sondern zu beweisen, dass er die Fakten verstanden hat.

Das große Fazit

Die Studie kommt zu dem Schluss, dass KI zwar technisch in der Lage ist, ein Interview zu führen, dies aber die gesamte soziale Dynamik verändert. Es ist nicht einfach eine schnellere Version eines menschlichen Interviewers; es ist eine völlig andere Art der Interaktion.

Die Forscher schlagen vor, dass wir, wenn wir KI in Zukunft für Interviews nutzen wollen, sie nicht einfach „wild herumspielen“ lassen dürfen. Wir müssen Systeme entwerfen, die:

• Tiefe erzwingen: Sicherstellen, dass der Bot Rückfragen stellt und nicht einfach nur weitermacht.
• Transparent sind: Klar kommunizieren, warum ein Bot verwendet wird, damit sich die Menschen nicht ignoriert fühlen.
• Wirklich zuhören: Den Bot so programmieren, dass er paraphrasiert und zusammenfasst, anstatt nur „cool“ oder „wow“ zu sagen.

Letztendlich legt das Paper nahe, dass KI ein mächtiges Werkzeug ist, aber kein magischer Ersatz für die menschliche Verbindung. Wenn wir reiche, tiefe Geschichten von Menschen wollen, müssen wir vorsichtig sein, dass die Effizienz des Bots nicht genau das zerstört, was ein Gespräch wertvoll macht: das Gefühl, dass jemand wirklich zuhört.