A Rigorous Turing Test: a Foundation for Evaluating Artificial General Intelligence

Stellen Sie sich eine Welt vor, in der Sie nicht unterscheiden können, ob Sie mit einer echten Person oder einem superintelligenten Roboter sprechen, indem Sie nur deren Nachrichten lesen. Dies ist der Kern einer berühmten Idee namens „Turing-Test“, ein Konzept, das seit Jahrzehnten Diskussionen unter Wissenschaftlern, Philosophen und neugierigen Köpfen auslöst. Betrachten Sie es als das ultimative „Impostor-Spiel“. In diesem Spiel chattet ein menschlicher Richter über einen Bildschirm mit zwei verborgenen Spielern. Ein Spieler ist ein Mensch, der andere eine Maschine. Die Aufgabe des Richters besteht darin, herauszufinden, wer wer ist. Wenn die Maschine den Richter austricksen kann, sodass dieser glaubt, sie sei ein Mensch, besteht sie den Test. Dies ist nicht nur ein bloßer Trick; es ist eine ernsthafte Frage darüber, ob Maschinen wirklich so „denken“ können wie wir. Da künstliche Intelligenz immer besser darin wird, Geschichten zu schreiben, mathematische Probleme zu lösen und wie ein Freund zu chatten, fragen sich die Menschen: Haben wir endlich eine Maschine gebaut, die uns täuschen kann? Wenn dem so ist, verändert das alles darüber hinaus, wie wir Technologie, das Recht und sogar das, was es bedeutet, menschlich zu sein, betrachten.

Treten Sie nun an die Stelle eines Teams von Forschern, die beschlossen haben, diese Debatte mit einem sehr strengen, sehr sorgfältigen Experiment zu klären. Sie wollten sehen, ob eine erstklassige KI, bekannt als GPT-4-Turbo, tatsächlich den Turing-Test bestehen kann. Aber hier ist die Wendung: Sie haben das Spiel nicht einfach nur gespielt; sie spielten es nach den ursprünglichen, strengen Regeln, die der Schöpfer des Tests, Alan Turing, im Jahr 1950 aufgestellt hatte. Viele frühere Studien behaupteten, die KI habe den Test bestanden, aber die Forscher vermuteten, dass diese Spiele mit Abkürzungen gespielt wurden, wie etwa das Abbrechen des Gesprächs nach nur fünf Minuten. Sie wollten sehen, was passiert, wenn sie das Zeitlimit aufheben und den Gesprächsfluss natürlich gestalten, genau wie bei einem echten Chat unter Freunden.

Die Ergebnisse waren überraschend und eine gewisse Realitätsprüfung für den KI-Hype. In ihrem strengen Experiment konnten die menschlichen Richter den Roboter öfter als nicht, aber nicht ganz so leicht wie bei einem perfekten Ergebnis. Von 37 Spielen, in denen die KI versuchte, sich als Mensch auszuge geben, identifizierten die Richter den Computer in 16 Fällen korrekt. Das ist eine Erfolgsquote von 43 % für die Menschen, was bedeutet, dass die KI die Richter in der Mehrheit der Spiele erfolgreich getäuscht hat (57 %). Die Forscher fanden jedoch, dass die Leistung der Richter statistisch signifikant im Vergleich zu blindem Raten war, dennoch gelang es der KI, die Richter in den meisten Versuchen zu täuschen. Die Studie legt nahe, dass die KI trotz der beeindruckenden Art, wie sie klingt, die Kunst, menschlich zu sein, noch nicht ganz gemeistert hat – zumindest nicht unter diesen strengen Bedingungen, da sie die Richter häufiger täuschte, als sie entlarvt wurde.

Einer der interessantesten Teile der Studie war die Dauer der Spiele. Frühere Experimente zwangen die Richter oft dazu, eine Entscheidung in nur fünf Minuten zu treffen. Die Forscher fanden heraus, dass die Spiele viel länger dauerten, wenn sie den Richtern Zeit ließen. Im Durchschnitt dauerten die „Mensch gegen Roboter“-Spiele etwa 14 Minuten, während die „Mann gegen Frau“-Spiele sogar noch länger dauerten, nämlich etwa 24 Minuten. Dies zeigt uns, dass das fünfminütige Limit, das in anderen Studien verwendet wurde, möglicherweise zu kurz war und die Richter dazu zwang, schnell zu raten, bevor sie wirklich herausfinden konnten, wer wer war. Wenn man den Richtern genug Zeit gab, waren sie scharf genug, um den Roboter öfter zu entlarven, obwohl die KI in den meisten Gesprächen dennoch ihre Daseinsberechtigung bewies.

Die Forscher untersuchten auch, ob die KI Menschen täuschen könnte, indem sie sich wie ein bestimmter Typ Mensch verhält, wie zum Beispiel ein junger Teenager, was einige frühere Studien versucht hatten. Selbst mit diesen Tricks konnte die KI die Richter in ihren langen, ungehetzten Gesprächen nicht so oft täuschen wie in kürzeren Tests. Die Studie kommt zu dem Schluss, dass Behauptungen, die KI habe den Turing-Test bereits bestanden, wahrscheinlich verfrüht sind. Es ist nicht so, dass die KI dumm ist; es ist nur so, dass die „Maske“ des Roboters beginnt zu verrutzen, selbst wenn sie nicht vollständig abfällt, wenn man Menschen genug Zeit gibt, um nachzudenken und zu chatten.

Was bedeutet das also für die Zukunft? Die Forscher glauben, dass der Turing-Test weiterhin ein wichtiges Instrument ist, um zu prüfen, ob Maschinen wirklich intelligent sind. Sie schlagen vor, dass wir den Sieg für die KI nicht vorzeitig verkünden sollten. Stattdessen sollten wir weiter testen, unsere Regeln weiter verfeinern und die schwierigen Fragen weiter stellen. Wie einer der Forscher bemerkte, könnte der Test noch jahrelang ein zentraler Bestandteil dessen bleiben, wie wir maschinelle Intelligenz verstehen. Bis eine KI in der Lage ist, einen menschlichen Richter in einem langen, entspannten Gespräch ohne Zeitdruck konsistent zu täuschen, bleibt die Frage „Können Maschinen denken?“ offen, und der Roboter ist immer noch der Hochstapler im Raum.