Empowering Children to Create AI-Enabled Augmented Reality Experiences
Dieses Paper präsentiert Capybara, eine KI-gestützte visuelle Programmierumgebung, die Kinder dazu befähigt, durch die Nutzung von generativer KI für die Charaktererstellung und Computer Vision zur Überbrückung virtueller und physischer Welten interaktive 3D-Augmented-Reality-Erlebnisse zu erschaffen, anzupassen und zu animieren, wie durch Nutzerstudien in den USA und Argentinien validiert wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die digitale Welt als einen riesigen, magischen Spielplatz vor, auf dem die Regeln in Code geschrieben sind. Seit Jahren können Kinder in diesem Spielplatz Burgen bauen und Autos rennen lassen, indem sie Werkzeuge wie Scratch nutzen, mit denen sie bunte Puzzleteile zusammenstecken können, anstatt komplexe Anweisungen zu tippen. Aber es gibt einen Haken: Die meisten dieser digitalen Welten bleiben in dem Bildschirm gefangen. Sie können die reale Welt um Sie herum nicht sehen und können nicht auf die Kaffeetasse auf Ihrem Schreibtisch oder den Hund reagieren, der an Ihren Füßen vorbeiläuft.
Stellen Sie sich nun vor, dieser digitale Spielplatz könnte nach außen greifen, die reale Welt berühren und sich verändern, basierend auf dem, was er sieht. Dies ist die Magie der Augmented Reality (AR), die so ist, als würde man eine spezielle Brille tragen, die es einem ermöglicht, digitale Charaktere direkt in seinem echten Wohnzimmer schweben zu sehen. Und wenn man Künstliche Intelligenz (KI) dazu mischt, ist das so, als würde man diesen digitalen Charakteren ein Gehirn geben, damit sie verstehen können, was sie gerade sehen. Die große Frage, die sich Forscher stellen, lautet: Können wir die Schlüssel zu diesem magischen, gehirnreichen Spielplatz an Kinder übergeben? Können wir sie zulassen, dass sie nicht nur mit diesen smarten digitalen Welten spielen, sondern sie auch tatsächlich bauen, indem sie ihre Fantasie mit realen Objekten vermischen?
Genau das hat ein Forscherteam mit einem neuen Werkzeug namens Capybara versucht. Betrachten Sie Capybara als ein „Lego-Set für die Zukunft“, aber anstatt Plastiksteinen verwenden Sie Sprachbefehle und Körperbewegungen, um zu bauen. Die Forscher entwickelten eine App für Tablets, mit der Kinder ihre eigenen 3D-Charaktere erschaffen, sie tanzen lassen und sie so programmieren können, dass sie mit realen Objekten wie Bananen oder Tastaturen interagieren.
So funktioniert es: Zuerst kann ein Kind mit der App sprechen und sagen: „Ich möchte ein Wasserschwein mit einem Zaubererhut“, und die KI zeichnet sofort eine 3D-Version davon. Als Nächstes kann das Kind aufstehen und mit den Armen wedeln; die App beobachtet den Körper und lässt den digitalen Charakter die Bewegungen kopieren, wie ein Puppenspieler, der eine Marionette steuert. Schließlich kann das Kind „Sensor-Blöcke“ verwenden, um dem Charakter zu sagen: „Wenn du eine Banane auf dem Boden siehst, spring darüber hinweg.“ Die App nutzt ihre Kamera, um die echte Banane zu erkennen, und lässt den digitalen Charakter darauf reagieren.
Das Team testete dies mit 20 Kindern im Alter von 7 bis 16 Jahren in den USA und Argentinien. Sie fanden heraus, dass die Kinder Capybara erfolgreich nutzen konnten, um diese Mixed-Reality-Geschichten zu kreieren. Die Kinder liebten die Freiheit, ihre Charaktere genau so aussehen zu lassen, wie sie sie sich vorstellten, und sie tanzen zu ihren eigenen Bewegungen zu lassen. Sie hatten das Gefühl, etwas wirklich Einzigartiges zu bauen, das die Lücke zwischen ihrem physischen Zimmer und einer digitalen Welt schließt.
Die Forscher bemerkten jedoch auch einige Stolpersteine. Manchmal wurde die KI ein wenig verwirrt. Wenn ein Kind nach einer bestimmten Art von Hut fragte, erstellte die KI vielleicht einen, der etwas seltsam aussah, was die Kinder frustrierte. Zudem gerieten einige Kinder so sehr in Euphorie, während sie versuchten, die KI dazu zu bringen, den perfekten Charakter zu zeichnen, dass sie vergaßen, die Geschichte zu Ende zu erzählen, die sie eigentlich erzählen wollten. Die Studie deutet darauf an, dass dieses Werkzeug zwar eine unterhaltsame und kraftvolle Möglichkeit für Kinder ist, um über Codierung und KI zu lernen, es aber etwas mehr Anleitung benötigt, um ihnen zu helfen, fokussiert zu bleiben und mit den gelegentlichen Fehlern der KI umzugehen.
Kurz gesagt: Capybara legt nahe, dass Kinder bereit sind, die Architekten smarter, interaktiver Welten zu sein, aber sie brauchen Werkzeuge, die so geduldig und klar sind wie sie selbst kreativ. Es ist ein vielversprechender Schritt in Richtung einer Zukunft, in der Kinder digitale Inhalte nicht nur konsumieren, sondern ihre eigenen magischen Realitäten erschaffen, die direkt neben der echten Welt existieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.