The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

Im Klassenzimmer war die Beziehung zwischen einem Schüler und einem Lehrer lange Zeit durch den Austausch von Wissen definiert, bei dem ein menschlicher Mentor komplexe Ideen in verständliche Schritte zerlegt. Heute ist ein neuer Typ von Wegweiser in den Raum getreten: künstliche Intelligenz. Diese Systeme können Texte generieren, mathematische Probleme lösen und Computer-Code schreiben – mit einer Geschwindigkeit, die der von menschlichen Experten in nichts nachsteht. Doch eine entscheidende Frage bleibt für Pädagogen und Eltern gleichermaßen bestehen: Wenn ein Schüler versucht zu lernen, spielt es eine Rolle, wer die Erklärung liefert? Gibt es einen grundlegenden Unterschied zwischen einer von einem Menschen erstellten Lösung und einer, die von einer Maschine generiert wurde, und kann ein Lernender den Unterschied erkennen? Diese Untersuchung steht im Zentrum einer aktuellen Studie, die untersucht, wie Schüler Erklärungen für schwierige Programmieraufgaben wahrnehmen, insbesondere wenn diese von einem digitalen Charakter statt von einer lebenden Person vermittelt werden.

Die Forscher, ein Team von Wissenschaftlern aus Universitäten in Kasachstan, wollten die Grenzen dieser aufkommenden Technologie mit einer Gruppe von siebenunddreißig Highschool-Schülern testen. Dies waren keine Anfänger; die Teilnehmer waren zwischen fünfzehn und siebzehn Jahre alt und stammten aus einer spezialisierten Schule, die für das Training von Schülern in Mathematik- und Naturwissenschaftswettbewerben bekannt ist. Sie hatten bereits jahrelang gelernt zu programmieren, wobei viele schon in der Grundschule damit begonnen hatten. Das Ziel war es zu sehen, ob diese erfahrenen jungen Programmierer zwischen Lösungen unterscheiden konnten, die von einem menschlichen Lehrer geschrieben wurden, und solchen, die von einem Large Language Model produziert wurden – einer Art künstlicher Intelligenz, die in der Lage ist, Texte und Code zu generieren. Um den Test fair zu gestalten und jegliche Voreingenommenheit aufgrund von Stimme oder Aussehen zu vermeiden, verwendeten die Forscher einen 3D-animierten Charakter, einen Avatar, um die Erklärungen zu liefern. Diese digitale Figur sprach mit einer computergenerierten Stimme, um sicherzustellen, dass die Schüler sich nicht auf menschliche Hinweise wie Tonfall oder Emotionen verlassen konnten, um die Quelle der Antwort zu erraten.

Das Experiment war wie eine Serie von Herausforderungen strukturiert. Den Schülern wurden fünf verschiedene Programmierprobleme gezeigt, die jeweils von einer Lösung und einer Erklärung begleitet wurden. Diese Probleme stammten von einer populären Online-Plattform, die von wettbewerbsorientierten Programmierern genutzt wird. Für jedes Problem wurde die Erklärung vom selben 3D-Avatar geliefert, aber die Quelle des Codes variierte. In einigen Fällen stammten der Code und die Erklärung von einem menschlichen Experten, der das Problem auf der Website gelöst hatte. In anderen Fällen wurde der Code von einem System künstlicher Intelligenz generiert. Die Schüler beobachteten den Avatar bei der Erklärung der Lösung und wurden anschließend einer Reihe von Fragen gestellt. Sie mussten bewerten, wie gut sie das Material verstanden, raten, ob der Code von einem Menschen oder einer Maschine geschrieben wurde, und den Avatar selbst bewerten. Die Forscher prüften auch, ob die bisherige Erfahrung der Schüler mit der Programmierung oder ihre früheren Interaktionen mit digitalen Avataren ihre Fähigkeit beeinflussten, den Unterschied zu erkennen.

Die Ergebnisse der Studie lieferten eine überraschende Erkenntnis darüber, wie Schüler mit dieser Technologie interagieren. Als sie gebeten wurden, die Quelle des Codes zu identifizieren, zeigten die Daten ein nuanciertes Muster: Die Teilnehmer wählten „von ChatGPT bereitgestellt“ häufiger und entschlossener für Aufgaben, die tatsächlich von ChatGPT bereitgestellt wurden. Bei Aufgaben, die von Menschen bereitgestellt wurden, waren sie jedoch zögerlicher und wählten die Quelle gleichmäßiger zwischen Mensch und KI. Dies deutet darauf hin, dass die Schüler zwar KI-generierte Inhalte mit einem gewissen Vertrauen identifizieren konnten, die Unterscheidung menschlicher Lösungen jedoch schwieriger war, was zu einer Mischung aus richtigen und falschen Vermutungen führte, statt zu einer klaren, konsistenten Fähigkeit, sie voneinander zu unterscheiden. Die Schüler bewerteten ihr Verständnis der Lösungen ähnlich, unabhängig davon, ob der Code von einem Menschen oder einer Maschine stammte. Darüber hinaus stellte die Studie fest, dass der Hintergrund eines Schülers das Ergebnis nicht veränderte. Ob ein Schüler bereits in der Grundschule oder erst in der Highschool mit dem Programmieren begonnen hatte oder ob er zuvor mit digitalen Assistenten interagiert hatte, hatte keinen signifikanten Einfluss auf seine Fähigkeit, die Quelle zu unterscheiden oder sein Engagement.

Obwohl die Schüler den Unterschied zwischen den beiden Quellen nicht leicht erkennen konnten, fiel ihr Feedback zur Art der Vermittlung kritischer aus. Der 3D-Avatar, der als Erzähler für sowohl menschliche als auch maschinelle Lösungen diente, erhielt gemischte Bewertungen. Viele Schüler merkten an, dass die Stimme des Charakters monoton sei und es dem natürlichen Rhythmus der menschlichen Sprache fehle. Sie wiesen darauf hin, dass die Bewegungen des Avatars manchmal repetitiv waren und nicht immer mit den gesprochenen Worten übereinstimmten, was es schwieriger machte, sich auf die komplexe Logik des Codes zu konzentrieren. Einige Schüler hatten das Gefühl, dass die roboterhafte Natur des Charakters das Lernerlebnis weniger persönlich und schwieriger nachvollziehbar machte. Trotz dieser Kritikpunkte war die allgemeine Stimmung optimistisch. Die meisten Schüler glaubten, dass eine solche Technologie in Zukunft nützlich sein könnte, insbesondere als Werkzeug, um schwierige Konzepte zu erklären, wenn kein Lehrer verfügbar ist. Sie erkannten an, dass die aktuelle Version des Avatars Mängel aufwies, Verbesserungen in Stimme und Animation das Tool jedoch zu einer wertvollen Ergänzung für die Bildung machen könnten.

Die Studie kommt zu dem Schluss, dass die künstliche Intelligenz zwar in der Lage ist, Erklärungen zu produzieren, die hinsichtlich Klarheit und Genauigkeit kaum noch von menschlichen zu unterscheiden sind, das Medium der Vermittlung jedoch weiterhin entscheidend ist. Die Schüler waren bereit, die Technologie als Lernhilfe zu akzeptieren, identifizierten aber schnell die Grenzen der aktuellen digitalen Avatare. Die Forschung legt nahe, dass sich der Fokus mit der Weiterentwicklung dieser Werkzeuge nicht nur auf die Qualität des generierten Codes, sondern auf die Qualität der Interaktion verlagern muss. Für Pädagogen bedeuten die Ergebnisse, dass Schüler bald in der Lage sein könnten, effektiv von maschinell generierten Inhalten zu lernen, doch die menschliche Note eines Lehrers bleibt in ihrer Fähigkeit einzigartig, eine Verbindung aufzubauen, sich anzupassen und auf eine Weise zu engagieren, die ein statischer, monotoner Avatar noch nicht replizieren kann. Die Zukunft der Bildung wird wohl eine Partnerschaft zwischen menschlichen Lehrern und intelligenten Maschinen beinhalten, aber der Weg zu dieser Partnerschaft erfordert die Verfeinerung der digitalen Werkzeuge, damit sie so ansprechend sind wie die Menschen, denen sie dienen sollen.