Revitalizing Public Urban Places through Cultural and Political Memory: A Technological Approach with LLMs and Augmented Reality

Technische Samenvatting: Het revitaliseren van publieke stedelijke ruimtes door middel van cultureel en politiek geheugen

Probleemstelling
Het artikel behandelt de uitdaging van het definiëren en revitaliseren van de identiteit van publieke stedelijke en peri-urbane ruimtes, die in toenemende mate worden gevormd door snelle verstedelijking, globalisering en technologische verschuivingen. Hoewel fysieke omgevingen fundamenteel zijn voor het bestaan, wordt hun identiteit ook in stand gehouden door immateriële mentale verschijnselen zoals collectief geheugen, cultureel erfgoed en politieke geschiedenis. De auteurs identificeren een kloof in het effectief integreren van deze immateriële narratieven met fysieke landschappen om sociale cohesie en een dieper begrip van plaats te bevorderen. Bovendien, hoewel Augmented Reality (AR) en Virtual Reality (VR) zijn gebruikt voor de visualisatie van erfgoed (bijv. het Archeoguide-project), kampten vroege implementaties met logistieke hindernissen met betrekking tot de omvang van de hardware en toegankelijkheid. Het artikel stelt dat opkomende technologieën, specifers Large Language Models (LLM's) en geavanceerde mixed reality-headsets zoals de Apple Vision Pro, een nieuwe weg bieden om de kloof tussen geschreven historische data, visuele representatie en de fysieke gebruikerservaring te overbruggen.

Methodologie
De voorgestelde methodologie schetst een pijplijn voor het evalueren en visualiseren van plaatsidentiteit door de integratie van digitale tweelingen, LLM's en AR. Het proces omvat de volgende stappen:

1. Data-acquisitie en contextualisering: Het proces begint met het identificeren van een specifieke locatie, hetzij door door de gebruiker vastgelegde fotografie, hetzij via Google Street View.
2. LLM-gestuurde analyse (ChatGPT): Het systeem maakt gebruik van ChatGPT om de visuele input te analyseren. Als de ruimte niet onmiddellijk wordt herkend, verstrekt de gebruiker de naam als context. De LLM wordt geprompt om gedetailleerde historische, culturele en architectonische inzichten te genereren, inclusief bouwdata, bouwers, structurele evolutie en gebruikspatronen door verschillende tijdperken heen (bijv. oudheid, Byzantijnse tijd, modern).
3. Generatieve visualisatie (DALL·E): De door de LLM gegenereerde tekstuele informatie wordt ingevoerd in DALL·E om visuele representaties van de ruimte over verschillende tijdlijnen te creëren. De auteurs hebben dit specif kind getest door afbeeldingen van het Monastiraki-plein in Athene te genereren voor drie afzonderlijke perioden: de oudheid, de Byzantijnse tijd en een speculatief toekomstscenario (2074).
4. Iteratieve verfijning: De auteurs erkennen dat de gegenereerde afbeeldingen verbeeldingrijke representaties zijn in plaats van historisch accurate foto's afgeleid van archieven. Daarom wordt een feedbackloop geïntroduceerd waarbij gebruikers de esthetiek en precisie van de gegenereerde afbeeldingen kunnen evalueren, wat iteratieve verbetering mogelijk maakt.
5. Immersieve levering (Apple Vision Pro): De uiteindelijke output wordt geleverd via de Apple Vision Pro. Dit apparaat maakt gebruik van ruimtelijke mapping (LiDAR), oogtracking en handgebaarherkenning om de gegenereerde historische en toekomstige visualisaties over de werkelijke omgeving te leggen. Gebruikers kunnen interageren met meerdere informatievensters, navigeren via blik en real-time data van LLM's raadplegen terwijl ze op de fysieke locatie staan.

Belangrijkste bijdragen

• Integratie van Multimodale AI en AR: Het artikel demonstreert een nieuwe workflow die LLM's (voor tekstgeneratie en historische analyse) verbindt met Generatieve AI (voor visuele synthese) en Mixed Reality-headsets (voor ruimtelijke immersie).
• Semantische afbeeldingenzicht en mnemonische landschappen: De aanpak faciliteert mogelijkheden voor "semantische afbeeldingenzicht", waardoor gebruikers mnemonische landschappen kunnen verkennen door afbeeldingen te ontdekken die gerelateerd zijn aan specifieke thema's zoals monumenten of culturele identiteit.
• Dynamische definitie van plaatsidentiteit: De studie draagt bij aan een methodologie voor het definiëren van plaatsidentiteit, niet alleen als een statisch fysiek kenmerk, maar als een dynamisch construct dat voortkomt uit de wisselwerking tussen geheugen, politieke entiteiten en temporele evolutie.
• Verbeteringen in toegankelijkheid: Door gebruik te maken van de Apple Vision Pro adresseert het artikel historische beperkingen van AR (zoals de zware rugzakken en externe camera's die vereist waren voor het Archeoguide-project), en biedt het een gebruiksvriendelijker, controller-vrij interactiemodel.

Resultaten
Het artikel presenteert een conceptueel kader en een voorlopige beoordeling van de methodologie met behulp van het Monastiraki-plein als casestudy. De resultaten geven aan dat:

• LLM's effectief complexe prompts kunnen verwerken om historische en culturele data over specifieke stedelijke ruimtes op te halen en te synthetiseren.
• Generatieve AI (DALL·E) succesvol deze tekstuele beschrijvingen kan vertalen naar visuele weergaven van het verleden en de toekomst van een locatie, hoewel de auteurs opmerken dat dit verbeeldingrijke reconstructies zijn in plaats van fotorealistische historische verslagen.
• De Apple Vision Pro de gegenereerde digitale elementen succesvol over de fysieke omgeving legt, waardoor gebruikers de "dynamische evolutie van landschappen" kunnen visualiseren en een "nostalgisch gevoel van terugkeren naar een specifieke plaats" kunnen ervaren.
• Het systeem een vorm van "visuele storytelling" mogelijk maakt waarbij gebruikers de culturele en politieke geschiedenis van een site kunnen verkennen via een immersieve interface.

Betekenis en Claims
Het artikel beweert dat deze technologische aanpak een nieuwe methode biedt voor het revitaliseren van publieke stedelijke plaatsen door cultureel en politiek geheugen toegankelijk en boeiend te maken. De significantie ligt in de mogelijkheid om:

• Temporele grenzen te overbruggen: Gebruikers de tijd te laten overstijgen, door gereconstrueerde omgevingen en het verleden op een dynamische manier te ervaren.
• Plaatsidentiteit te versterken: Een dieper begrip te bieden van de complexe relatie tussen geheugen, plaats en identiteit in het digitale tijdperk.
• Duurzaamheid te ondersteunen: Concepten van culturele, historische en milieutechnische duurzaamheid te illustreren door de veerkracht van de huidige staat van een plaats en de potentiële evolutie ervan te definiëren.

De auteurs hanteren een bescheiden standpunt over de huidige staat van de technologie, waarbij zij erkennen dat LLM's zich nog in een vroeg stadium van ontwikkeling bevinden en gevoelig zijn voor beperkingen zoals bevooroordeelde resultaten en het onvermogen om vanaf nul nauwkeurige historische foto's te genereren. Zij benadrukken dat de gegenereerde afbeeldingen dienen als "verbeeldingrijke representaties" en dat de methodologie verder diepgaand onderzoek en evaluatie vereist, met name met betrekking tot het efficiënt gebruik van deze technologieën in bredere infrastructuursystemen. Het artikel concludeert door dit werk te positioneren als een bijdrage aan de vooruitgang van onderzoek in digitale tweelingen, stedelijke transformatie en het behoud van cultureel erfgoed.