HS-3D-NeRF: 3D Surface and Hyperspectral Reconstruction From Stationary Hyperspectral Images Using Multi-Channel NeRFs

Dit paper introduceert HSI-SC-NeRF, een stationair-camera framework dat neural radiance fields combineert met hyperspectrale imaging om efficiënt en nauwkeurig 3D-geometrie en spectraal data van landbouwproducten te reconstrueren voor geautomatiseerde kwaliteitscontrole.

De kern

🍎 De "Magische Draaitafel": Een nieuwe manier om appels en maïs te scannen

Stel je voor dat je een appel wilt onderzoeken. Je wilt niet alleen weten hoe hij eruit ziet (is hij rond? is er een deukje?), maar ook wat er in zit (is hij zoet? zit er water in? is hij ziek?).

Normaal gesproken heb je daar twee verschillende apparaten voor nodig:

1. Een camera voor de vorm (3D).
2. Een speciale scanner voor de smaak en gezondheid (hyperspectraal, oftewel "kleuren die het menselijk oog niet ziet").

Het probleem is dat deze apparaten vaak groot, duur en lastig te gebruiken zijn. Ze moeten vaak om het object heen draaien, wat in een drukke fabriek of boerderij veel gedoe is.

De oplossing van dit onderzoek: HS-3D-NeRF
De onderzoekers hebben een slimme manier bedacht om dit probleem op te lossen. Ze hebben een systeem ontwikkeld dat werkt als een magische draaitafel.

Hoe werkt het? (De Analogie)

1. De Stilstaande Camera (De Vaste Waarnemer):
   In plaats van dat de camera om de appel heen draait (wat veel kabels en bewegende onderdelen vereist), staat de camera vast. Denk aan een fotograaf die op een driepoot staat en niets beweegt.

2. De Draaitafel (De Actieve Prooi):
   De appel (of maïs, of peer) staat op een draaitafel die langzaam ronddraait. De camera maakt foto's terwijl het fruit draait. Het is alsof je een standbeeld in een museum ronddraait terwijl je er vanuit één hoek foto's van maakt.

3. De "Teflon-Kamer" (De Perfecte Verlichting):
   Alles gebeurt in een speciale kamer gemaakt van Teflon (een glad, wit materiaal). Dit zorgt ervoor dat het licht overal even zacht en gelijkmatig valt, net als in een studio met honderden lampen die door een witte doek schijnen. Hierdoor vallen er geen harde schaduwen die de metingen verstoren.

4. De "Geheime Kracht" (Neural Radiance Fields):
   Hier komt de echte magie. De computer gebruikt een slim algoritme (een soort AI genaamd NeRF).

   • De Analogie: Stel je voor dat je 60 foto's hebt van een appel die draait. Een normaal computerprogramma zou proberen deze foto's als een puzzel in elkaar te zetten. Maar dit AI-systeem "droomt" een compleet 3D-objekt op. Het leert niet alleen hoe de appel eruitziet, maar ook hoe hij eruitziet in 204 verschillende kleuren (van zichtbaar licht tot infrarood).
   • Het resultaat is een 3D-puntwolk: een digitaal model van de appel dat je kunt draaien, waar je op elk punt kunt klikken om te zien hoe "gezond" of "zoet" dat specifieke stukje is.

Waarom is dit zo belangrijk?

• Snelheid en Gemak: Boeren en onderzoekers hoeven geen zware, dure robots meer te bouwen die om de producten heen bewegen. Alles is statisch en betrouwbaar.
• Geen Verborgen Gebreken: Als je alleen naar een appel kijkt, zie je misschien een deukje aan de zijkant, maar niet aan de onderkant. Omdat de appel draait, ziet de camera alles. De AI bouwt een compleet 3D-kaart op, zodat je geen enkele ziekte of deukje mist.
• De "X-Ray" Visie: Het systeem kan zien wat er onder de schil zit. Bijvoorbeeld: is de appel nog fris, of begint hij al te rotten van binnen? Dit is onmogelijk met een gewone camera, maar wel met deze "kleurrijke" 3D-scanner.

Wat hebben ze bewezen?

Ze hebben dit systeem getest op drie dingen: een appel, een peer en een maïsaren.

• Ze konden de vorm van de maïsaren tot op de millimeter nauwkeurig reconstrueren.
• Ze konden precies zien welke delen van de appel bruin waren (verrot) en welke nog fris, zelfs als je het niet met het blote oog zag.
• Ze ontdekten dat het beste resultaat wordt bereikt door eerst de vorm te leren en daarna de "kleuren" (de chemische samenstelling) te verfijnen.

Samenvattend

Dit onderzoek is als het vinden van een nieuwe bril voor boeren en voedselinspecteurs. Met deze bril kunnen ze niet alleen zien hoe een product eruitziet, maar ook wat er in zit, zonder het product aan te raken. En het beste van alles: ze hoeven daarvoor geen ingewikkelde machines te bouwen; een stilstaande camera en een draaitafel zijn genoeg.

Dit helpt om voedselverspilling te verminderen (door rotte appels eruit te halen) en om betere gewassen te kweken, wat goed is voor de planeet en onze gezondheid.

Technische samenvatting

Probleemstelling

De landbouw en veredeling hebben behoefte aan hoog-throughput, nauwkeurige karakterisering van plantfenotypes en productkwaliteit. Traditionele hyperspectrale imaging (HSI) levert waardevolle biochemische informatie (zoals chlorofylgehalte en waterstress), maar beperkt zich vaak tot 2D-data. Dit maakt het moeilijk om 3D-structuren, krommingen of zelfocclusie (waarbij delen van het object elkaar verbergen) correct te analyseren.

Bestaande methoden om HSI te combineren met 3D-reconstructie (zoals Structure-from-Motion, Multi-View Stereo of LiDAR) vereisen vaak complexe hardware-opstellingen met bewegende camera's of dure multi-camera arrays. Deze zijn moeilijk te schalen voor geautomatiseerde, hoog-throughput landbouwsystemen en zijn gevoelig voor kalibratieproblemen en variaties in belichting. NeRF (Neural Radiance Fields) biedt een rekenkundig efficiënt alternatief voor 3D-reconstructie, maar vereist doorgaans dat de camera rond een stilstaand object beweegt, wat logistiek onpraktisch is in industriële landbouwomgevingen.

Methodologie: HSI-SC-NeRF

De auteurs introduceren HSI-SC-NeRF, een raamwerk voor hyperspectrale 3D-reconstructie met een stilstaande camera. De kern van de methode is als volgt:

1. Experimentele Opstelling:

   • In plaats van de camera te bewegen, roteert het object (bijv. fruit of maïs) op een gemotoriseerd draaitafel.
   • Het object bevindt zich in een op maat gemaakt Teflon (PTFE) imaging-kamer. Deze kamer, bekleed met 12 wolfram-halogeenlampen, zorgt voor diffuse, uniforme belichting, wat essentieel is voor consistente spectrale metingen.
   • Een statische SPECIM IQ hyperspectrale camera (204 banden, 397–1003 nm) neemt beelden op terwijl het object roteert.

2. Positiebepaling (Pose Estimation):

   • Omdat de camera stilstaat, wordt de variatie in perspectief gegenereerd door de rotatie van het object.
   • ArUco-markers op het draaitafel en een 3D-geprinte cilindrische referentiecontainer worden gebruikt voor feature-extractie.
   • Met COLMAP (SfM-pijplijn) worden camera-posen geschat. Omdat de camera stilstaat, worden deze poses via gesimuleerde transformaties omgezet naar het camera-coördinatenstelsel, waardoor standaard NeRF-training mogelijk wordt.

3. Data Preprocessing:

   • Spectrale Kalibratie: Een witreferentie (White Reference) wordt gebruikt om spectrale onnauwkeurigheden en belichtingsbias te corrigeren. Er wordt een automatisch masker gegenereerd om randeffecten en onstabiele pixels te filteren voordat de data genormaliseerd wordt.

4. Multi-Channel NeRF Training:

   • Het model is gebaseerd op de Nerfacto-pijplijn (uit NeRFStudio) maar is aangepast om hyperspectrale invoer te verwerken.
   • Modelformulering: Het netwerk voorspelt voor elk 3D-punt een $n$-dimensionale spectrale radiantievector en een scalair, golflengte-invariant transmissiewaarde. Dit vereenvoudigt het leren van continue spectrale functies.
   • Twee-fasen Trainingsprotocol:
     1. Pre-training: Het model wordt getraind op volledige frames om een stabiele geometrische initialisatie te krijgen.
     2. Fine-tuning: Training vindt plaats met maskers voor het voorgrondobject (om achtergrondgradiënten te reduceren) en camera-optimalisatie is uitgeschakeld. Dit isoleert de radiometrische verfijning.
   • Verliesfunctie (Loss Function): Een samengestelde loss-functie combineert standaard volumetrische losses met hyperspecifieke termen:
     • $L_{hsi}$: Spectrale RMSE (magnitude fout).
     • $L_{ang}$: Spectrale hoekfout (Angular Spectral Loss) voor vormconsistentie van het spectrum.
     • Andere regularisaties (proposal, distortion, orientation, normal loss) voor stabiliteit.

Belangrijkste Bijdragen

1. Statische Camera Pijplijn: Een innovatieve aanpak die camera-beweging elimineert door objectrotatie en gesimuleerde pose-transformatie, wat de schaalbaarheid voor landbouwtoepassingen vergroot.
2. Specifieke Hardware: Een Teflon-imagingkamer die uniforme, diffuse belichting biedt voor herhaalbare hyperspectrale data-acquisitie.
3. Multi-Channel NeRF Formulier: Een architectuur die geometrie en spectrale reflectantie gelijktijdig optimaliseert over alle hyperspectrale banden, ondersteund door een tweestaps trainingsprotocol.
4. Kwantitatieve Validatie: Uitgebreide validatie op drie landbouwvoorbeelden (appel, peer, maïs) die zowel ruimtelijke nauwkeurigheid als spectrale trouw aantonen.

Resultaten

De methode werd getest op een appel, een peer en een maïsaren.

• Ruimtelijke Nauwkeurigheid: De reconstructie toonde een uitstekende geometrische overeenstemming met een referentiemodel (gegenereerd door een bewegende RGB-camera). Bij een drempelwaarde van 2 mm werd een F-score van 97,31% bereikt.
• Spectrale Trouw: De spectrale nauwkeurigheid werd gemeten met SAM (Spectral Angle Mapper) en Spectrale RMSE.
  • SAM-waarden lagen aanzienlijk onder de classificatiedrempel van 0,1 rad (bijv. 0,029 rad voor maïs), wat aangeeft dat de spectrale vorm zeer nauwkeurig wordt gereproduceerd.
  • De combinatie van verliesgewichten $(\lambda_{ang}=0.25, \lambda_{hsi}=0.75)$ bleek optimaal tijdens de fine-tuning-fase, waarbij de magnitude-fouten (intensiteit) werden geminimaliseerd terwijl de spectrale vorm behouden bleef.
• Toepassingsgericht: De gereconstrueerde 3D-puntenwolken maakten het mogelijk om specifieke golflengtegebieden te analyseren voor het detecteren van blauwe plekken bij appels, rijpheid bij maïs en ziekten bij peren. De studie toonde aan dat de keuze van golflengte-composities de visuele contrasten kan verbeteren en in sommige gevallen (zoals bij appels) de geschatte oppervlakte en volume kan beïnvloeden.

Betekenis en Conclusie

HSI-SC-NeRF biedt een praktische oplossing voor het integreren van hyperspectrale imaging en 3D-reconstructie in geautomatiseerde landbouwworkflows. Door de complexiteit van bewegende camera-rigs te elimineren, maakt het systeem hoog-throughput inspectie mogelijk voor post-oogst kwaliteitscontrole (bijv. detectie van beschadigingen, ziekten en stress) en veredelingprogramma's.

De methode bewijst dat het mogelijk is om fysiek betekenisvolle spectrale data te combineren met gedetailleerde 3D-geometrie in een gestandaardiseerde, industriële omgeving. Hoewel er uitdagingen blijven (zoals gevoeligheid voor niet-uniforme belichting en de aanname van starre objecten), opent dit werk de weg voor niet-destructieve, diepgaande analyse van landbouwproducten die zowel hun vorm als hun biochemische samenstelling in één scan combineert.