Loggia dei Lanzi: AI Thermography Enhancement Comparisons through 3D Photogrammetry

Stel je voor dat je een detective bent die een mysterie probeert op te lossen dat verborgen zit in een oude, dikke stenen muur. Je kunt de muur niet zomaar afbreken om te zien wat erin zit, want dat zou de geschiedenis vernietigen. In plaats daarvan gebruik je een speciale "warmtecamera" die ziet hoe warm of koud verschillende delen van de muur zijn. Denk aan een nachtkijker voor temperatuur: als er een verborgen deur of een ander type baksteen achter het stucwerk zit, kan dit de warmte anders vasthouden, waardoor er een spookachtig figuur op je scherm verschijnt. Dit wordt thermografie genoemd.

Maar hier komt het lastige deel: deze warmtecamera's maken meestal foto's die een beetje wazig zijn, zoals een videogame met een lage resolutie uit de jaren 90. Om de beelden duidelijker te maken, gebruiken wetenschappers twee belangrijke trucs. De eerste is een hardware-truc genaamd microscanning, waarbij de camera heel klein trilt (zoals een handtremor) om veel snelle snapshots te maken en deze samen te voegen tot een scherper beeld. De tweede, nieuwere truc is Artificiële Intelligentie (AI). Dit is als een superintelligent computerprogramma dat naar een wazig plaatje kijkt en raadt hoe de ontbrekende details eruit zouden moeten zien, waarbij het nieuwe pixels "hallucineert" om het beeld kristalhelder en high-definition te maken.

De grote vraag voor historici en architecten is: helpt het scherper maken van de foto ons echt om de verborgen geheimen te vinden? Of verzint de AI details die er cool uitzien, maar niet echt zijn? Als de computer een nep baksteenpatroon verzint, kan dat de 3D-kaart die we proberen te bouwen in de war brengen, wat leidt tot verkeerde conclusies over de geschiedenis van het gebouw. Dit artikel duikt in precies die vraag: testen we of deze hightech upgrades een toverstaf zijn of gewoon een fancy filter.

---

Het verhaal van de Loggia en de warmtecamera

Het verhaal speelt zich af bij de Loggia dei Lanzi, een beroemde openluchtgalerij in Florence, Italië, die eeuwen geleden is gebouwd. Het is een massieve structuur met enorme stenen bogen en een gewelfd plafond, die jaarlijks door miljoenen mensen wordt bezocht. Omdat het zo oud is, is het vele malen aangepast. Er zijn waarschijnlijk verborgen deuren, dichtgemetselde ramen en verschillende soorten steen begraven onder lagen stucwerk. De onderzoekers wilden warmtecamera's gebruiken om deze geheimen te vinden zonder de muur aan te raken.

In december 2025 installeerde een team van wetenschappers hun apparatuur in de Loggia. Ze gebruikten een hoogwaardige warmtecamera (de FLIR T1020 HD) om 161 foto's van de achterwand te maken. Het weer was perfect hiervoor: het was koud buiten (rond de 11°C), maar binnen in het gebouw was het warmer. Dit temperatuurverschil zorgde ervoor dat de verborgen kenmerken duidelijk zichtbaar werden op de warmtecamera, als de stoom die van een warme kop cacao afkomt op een winterse dag.

De Grote Resolutie-race

Het team nam niet alleen de foto's en stopte daar ook mee. Ze wilden zien of ze de beelden beter konden maken met drie verschillende methoden, en vervolgens kijken welke methode hen hielp de beste 3D-kaart van de muur te bouwen. Ze behandelden de beelden als een race met zes verschillende hardlopers:

1. De Native Hardloper: De originele, onbewerkte foto rechtstreeks uit de camera (1024 × 768 pixels). Dit is de "controlegroep"—waar we mee begonnen.
2. De Hardware Hardloper (UltraMax): De ingebouwde truc van de camera die kleine trillingen gebruikt om 16 frames samen te voegen tot één scherper beeld (2048 × 1536 pixels).
3. De Wiskunde Hardloper (Bicubic): Een simpele, ouderwetse computertruc die het beeld gewoon uitrekt om het groter te maken, zonder echte nieuwe details toe te voegen. Dit is de "fake it till you make it"-baseline.
4. De AI Hardloper #1 (SwinIR): Een slim AI-model dat meestal getraind is op normale foto's, niet op warmtebeelden, puur om te zien of het de details kan raden.
5. De AI Hardloper #2 (DifIISR): Een zeer geavanceerde AI die een "diffusieproces" gebruikt (zoals het langzaam onthullen van een afbeelding vanuit ruis) en specif kind is ontworpen voor warmtebeelden.
6. De AI Hardloper #3 (TongJi/DRCT): De winnaar van een recente wereldwijde wedstrijd voor het scherper maken van warmtebeelden, die het beeld enorm vergroot (8 keer groter!).

De Grote Test: Betekent "Scherper" ook "Beter"?

Hier vindt de plotwending plaats. Normaal gesproken, wanneer we een wazige foto scherper zien worden, nemen we aan dat het beter is. Maar de onderzoekers keken niet alleen naar de plaatjes; ze gebruikten ze om een 3D-model van de muur te bouwen. Ze voerden alle zes de versies van de beelden in een computerprogramma dat probeert de vorm van de muur te bepalen door punten tussen de foto's te matchen.

Denk aan een puzzel. Als de puzzelstukjes duidelijke, echte randen hebben, kun je een perfect kasteel bouwen. Als de puzzelstukjes voorzien zijn van nepranden die door een computer zijn getekend, ziet het kasteel er van voren misschien cool uit, maar zal het van opzij gezien instorten of er vreemd uitzien.

De Resultaten:

• De Native Afbeelding (Het Origineel): Verrassend genoeg produceerde de originele, onbewerkte foto de meest nauwkeurige en betrouwbare 3D-kaart. Het had de minste fouten en de meest consistente punten.
• De Hardware Hardloper (UltraMax): Deze deed het redelijk. Het was iets beter dan de simpele wiskundige rekentechniek, maar geen enorme sprong voorwaarts. Het was de enige "verbeterde" versie die de 3D-kaart niet te veel verstoorde. Het kwam het dichtst bij de oorspronkelijke kwaliteit.
• De AI Hardlopers (De "Magische" Ones): Dit is de grote verrassing. De AI-modellen die de beelden het scherpst en meest gedetailleerd maakten, maakten de 3D-kaarten juist slechter.
  • De AI-modellen creëerden veel "ruis". Ze bedachten neptexturen en details die er in een enkel plaatje geweldig uitzagen, maar niet overeenkwamen wanneer ze vanuit verschillende hoeken werden bekeken.
  • Toen de computer probeerde de 3D-muur te bouwen met deze AI-beelden, raakte hij in de war. De "nep" details sloten niet aan, waardoor het 3D-model trillerig en onnauwkeurig werd.
  • De meest agressieve AI (degene die het beeld 8 keer groter maakte) vulde de 3D-kaart met miljoenen punten, maar deze waren allemaal geclusterd op vreemde plekken, waardoor de gladde delen van de muur volledig leeg bleven. Het was alsof je een miljoen puzzelstukjes had die alleen in de hoeken van de puzzel pasten, terwijl het midden leeg bleef.

Wat dit betekent voor de geschiedenis

Het artikel concludeert dat voor de specifieke taak van het in kaart brengen van historische gebouwen om verborgen geheimen te vinden, meer pixels niet gelijk staan aan meer waarheid.

De AI-modellen zijn geweldig in het mooi maken van plaatjes voor een museumposter of een videogame. Ze kunnen raden hoe een textuur er zou kunnen uitzien. Maar wanneer je een muur nauwkeurig moet meten om een verborgen deur te vinden, zijn die gokken gevaarlijk. Ze introduceren "hallucinaties"—details die er niet zijn.

De onderzoekers suggereren dat als je verborgen kenmerken in een historisch gebouw wilt vinden, het beter is om een goede, stabiele foto met de camera te maken en eventueel de ingebouwde hardware-truc van de camera (UltraMax) te gebruiken als dat echt nodig is. Maar wees zeer voorzichtig met het gebruik van AI om het beeld te "verbeteren", want de AI kan tegen je liegen over wat er daadwerkelijk op de muur te zien is.

Kortom: Laat de computer de geschiedenis niet raden. De originele, ongefilterde warmtekaart, ook al ziet die er een beetje wazig uit, vertelt het meest ware verhaal van de Loggia dei Lanzi. De AI maakt het beeld misschien spectaculair in high-definition, maar voor een wetenschapper die een mysterie probeert op te lossen, is de originele lage-resolutie foto de enige die geen nep plotwending bevat.