Empowering Children to Create AI-Enabled Augmented Reality Experiences
Dit artikel presenteert Capybara, een door AI ondersteunde visuele programmeeromgeving die kinderen in staat stelt om interactieve 3D augmented reality-ervaringen te creëren, aan te passen en te animeren door gebruik te maken van generatieve AI voor karaktercreatie en computer vision om de virtuele en fysieke werelden te overbruggen, zoals gevalideerd door gebruikersstudies in de VS en Argentinië.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de digitale wereld voor als een gigantische, magische speeltuin waar de regels in code zijn geschreven. Jarenlang hebben kinderen in deze speeltuin kastelen kunnen bouwen en auto's kunnen racen met hulpmiddelen zoals Scratch, waarmee ze kleurrijke puzzelstukjes aan elkaar kunnen klikken in plaats van complexe instructies te typen. Maar er is een addertje onder het gras: de meeste van deze digitale werelden blijven gevangen binnen het scherm. Ze kunnen de echte wereld om je heen niet zien en ze kunnen niet reageren op de koffiekop op je bureau of de hond die langs je voeten loopt.
Stel je nu voor dat die digitale speeltuin zich naar buiten zou kunnen uitstrekken, de echte wereld zou kunnen aanraken en zou kunnen veranderen op basis van wat hij ziet. Dit is de magie van Augmented Reality (AR), wat is alsof je een speciale bril draagt waarmee je digitale personages direct boven in je eigen woonkamer ziet zweven. En als je Artificial Intelligence (AI) aan het mengsel toevoegt, is dat alsof je die digitale personages een brein geeft, zodat ze kunnen begrijpen waar ze naar kijken. De grote vraag die onderzoekers stellen is: Kunnen we de sleutels van deze magische, slimme speeltuin aan kinderen overhandigen? Kunnen we hen niet alleen laten spelen met deze slimme digitale werelden, maar ze ook echt laten bouwen, waarbij ze hun verbeelding mengen met echte objecten?
Dit is precies wat een team van onderzoekers wilde doen met een nieuwe tool genaamd Capybara. Denk aan Capybara als een "Lego-set voor de toekomst", maar in plaats van plastic blokjes gebruik je stemcommando's en lichaamsbewegingen om te bouwen. De onderzoekers hebben een app voor tablets gemaakt waarmee kinderen hun eigen 3D-personages kunnen creëren, ze kunnen laten dansen en ze kunnen programmeren om te interageren met echte objecten, zoals bananen of toetsenborden.
Dit is hoe het werkt: Eerst kan een kind tegen de app praten en zeggen: "Ik wil een capibara met een toverhoed op," en de AI tekent direct een 3D-versie ervan. Vervolgens kan het kind opstaan en met de armen zwaaien; de app observeert hun lichaam en laat het digitale personage de bewegingen kopiëren, zoals een poppenspeler die een marionet bestuurt. Ten slotte kan het kind "sensorische blokken" gebruiken om het personage te vertellen: "Als je een banaan op de vloer ziet, spring er dan overheen." De app gebruikt de camera om de echte banaan te spotten en laat het digitale personage erop reageren.
Het team heeft dit getest met 20 kinderen, tussen de 7 en 16 jaar oud, in de Verenigde Staten en Argentinië. Ze ontdekten dat de kinderen Capybara succesvol konden gebruiken om deze mixed-reality verhalen te creëren. De kinderen hielden van de vrijheid om hun personages er precies zo uit te laten zien als zij ze voorstelden en om ze te laten dansen op hun eigen bewegingen. Ze hadden het gevoel dat ze iets echt unieks aan het bouwen waren, waarbij de kloof tussen hun fysieke kamer en een digitale wereld werd overbrugd.
De onderzoekers merkten echter ook wat hobbelige wegen op. Soms raakte de AI een beetje in de war. Als een kind om een specif으로 type hoed vroeg, maakte de AI er soms een die er een beetje vreemd uitzag, wat de kinderen frustreerde. Ook raakten sommige kinderen zo enthousiast door te proberen de AI de perfecte versie van een personage te laten tekenen, dat ze vergaten het verhaal dat ze wilden vertellen af te maken. De studie suggereert dat, hoewel deze tool een leuke en krachtige manier is voor kinderen om over coderen en AI te leren, het nog wat meer begeleiding nodig heeft om hen te helpen gefocust te blijven en om om te gaan met de incidentele fouten van de AI.
Kortom, Capybara suggereert dat kinderen klaar zijn om de architecten te zijn van slimme, interactieve werelden, maar ze hebben tools nodig die even geduldig en helder zijn als zijzelf creatief zijn. Het is een veelbelovende stap naar een toekomst waarin kinderen digitale inhoud niet alleen consumeren, maar hun eigen magische realiteiten creëren die direct naast de echte wereld bestaan.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.