Evaluating AI-Generated Images of Cultural Artifacts with Community-Informed Rubrics
Dit artikel onderzoekt hoe gemeenschappen kunnen worden betrokken bij het systematiseren van het concept 'culturele geschiktheid' voor AI-generatie van culturele artefacten, met casestudies in het VK, Kerala en Tamil Nadu, om vervolgens te evalueren hoe deze gemeenschapsgerichte inzichten kunnen worden omgezet in geautomatiseerde meetinstrumenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kunstenaar bent die AI (kunstmatige intelligentie) gebruikt om plaatjes te maken. Je vraagt de AI: "Maak een foto van een traditionele Indiase boot" of "Teken een witte stok voor blinden". De AI knikt, denkt even na en levert een plaatje op.
Maar wat als de AI de boot tekent alsof het een pizza is, of de stok voor blinden laat lijken op een wandelstok voor een oude heer? Voor de mensen die met die objecten leven, voelt dit niet alleen als een foutje, maar als een belediging. Het is alsof iemand je familieportret tekent, maar je neus op de verkeerde plek zet en je kleed in een kleur die je nooit draagt.
Dit artikel van onderzoekers van Microsoft en Carnegie Mellon gaat precies over dit probleem: Hoe zorgen we dat AI de cultuur van mensen respectvol en correct afbeeldt?
Hier is de uitleg, vertaald naar een simpel verhaal met een paar creatieve vergelijkingen.
1. Het Probleem: De AI is een "Gast die de taal niet spreekt"
AI-modellen zijn getraind op miljarden foto's van het internet. Maar het internet is niet eerlijk verdeeld. Veel foto's komen uit het Westen, en minder uit India of van mensen met een visuele beperking.
- De Analogie: Stel je voor dat je een kok uit Parijs vraagt om een authentiek Thais gerecht te koken. Hij gebruikt zijn eigen kennis, maar hij heeft nog nooit een echte Thaise kruidenmix geproefd. Het resultaat? Het smaakt misschien naar eten, maar het is geen echt Thais gerecht. De AI doet precies hetzelfde: ze maakt "etenswaren", maar mist de specifieke smaak van de cultuur.
2. De Oplossing: De "Gastvrouwen" uitnodigen
In plaats van dat de onderzoekers zelf gaan gissen wat goed is, hebben ze gemeenschappen uitgenodigd om de regels te schrijven. Ze hebben met drie groepen gesproken:
- Mensen met een visuele beperking in het VK (voor hulpmiddelen zoals witte stokken en Braille-apparaten).
- Bewoners van Kerala (Indiase staat).
- Bewoners van Tamil Nadu (een andere Indiase staat).
- De Analogie: In plaats van dat de chef-kok (de AI) zelf bedenkt hoe het gerecht eruit moet zien, nodigen ze de grootmoeders uit de familie uit. Die grootmoeders zeggen: "Nee, nee, de boot moet zo lang zijn, en de stok moet wit zijn met een rode band, anders is het niet goed." Ze geven de AI een recept (in de paper een "rubric" genoemd) met de exacte regels.
3. Het Proces: Van "Gevoel" naar "Regel"
De onderzoekers hebben deze gesprekken gebruikt om een lijstje met harde regels te maken.
- Voorbeeld: Voor de witte stok (guide cane) zeggen de blinden: "Het moet een rechte stok zijn, niet krom. En hij moet wit zijn, geen houten wandelstok."
- Voorbeeld: Voor de Indiase "Kasavu" sari (een jurk) zeggen de vrouwen: "Het moet wit zijn met een gouden rand. Als er te veel bloemetjes op staan, is het niet de juiste sari."
De onderzoekers hebben deze regels omgezet in een checklist. Dit is het "systeem" (systematization).
4. De Test: De "AI-Detective"
Nu komt het slimme deel. De onderzoekers wilden weten: Kunnen we deze checklist laten controleren door een andere AI, zodat we niet elke keer zelf naar duizenden plaatjes hoeven te kijken?
Ze hebben een "AI-Detective" (een Multimodal Large Language Model) ingezet. Deze detective kreeg de checklist en de plaatjes van de AI-kunstenaar.
- De Vergelijking: Het is alsof je een strenge keurmeester (de AI-Detective) hebt die elke foto van de kok (de generatieve AI) afstempelt met "Goed" of "Slecht" op basis van de regels van de grootmoeders.
5. Wat Vonden Ze? (De Resultaten)
Het nieuws is gemengd, maar leerzaam:
- De AI-kunstenaar faalt vaak: De meeste plaatjes die de AI maakt, voldoen niet aan de regels. Bijvoorbeeld: 0% van de boten die de AI maakte, waren correct. Bij de witte stok was het iets beter (40%), maar nog steeds veel fouten.
- De AI-Detective is niet perfect: De "AI-Detective" die de regels controleerde, deed het redelijk goed (ongeveer 80-90% overeenstemming met mensen), maar maakte soms fouten.
- Vergelijking: De detective zag dat de boot lang was, maar miste soms dat de punt van de boot de verkeerde vorm had. Of hij dacht dat een stofje katoen was, terwijl het zijde was.
- Mensen vs. AI-regels: Als de onderzoekers zelf een lijstje hadden gemaakt (zonder de gemeenschap), hadden ze veel fouten gemaakt. De AI zou bijvoorbeeld denken dat een Braille-apparaat een scherm moet hebben (voor zichtbare mensen), terwijl blinden zeggen: "Nee, dat is onzin, wij voelen de tekst." Alleen de gemeenschap kon dit vertellen.
6. De Grote Les: "Geen maatwerk, geen respect"
De kernboodschap van dit artikel is: Je kunt niet zomaar een AI laten werken voor iedereen.
Als je wilt dat AI cultuur respecteert, moet je de mensen die die cultuur dragen uitnodigen om de regels te schrijven. Je kunt niet zomaar zeggen: "AI, maak maar iets moois." Je moet zeggen: "AI, hier is de checklist van de mensen die dit object dagelijks gebruiken. Volg deze regels."
- De Metafoor: Het is als het bouwen van een huis. Je kunt niet zomaar een architect (de AI) laten bouwen. Je moet eerst de bewoners (de gemeenschap) vragen: "Waar moet de deur zitten? Hoe hoog moet het plafond zijn?" Als je dat niet doet, krijg je een huis dat er mooi uitziet, maar waarin niemand comfortabel kan wonen.
Conclusie
Dit onderzoek laat zien dat we AI niet alleen maar op "snelheid" en "aantal plaatjes" moeten testen. We moeten testen op respect. En de enige manier om dat te doen, is door de mensen die het meest getroffen zijn, aan het stuur te zetten om de regels te schrijven. De AI is de uitvoerder, maar de gemeenschap is de directeur.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.