In de wereld van robotica en digitale cartografie vertrouwen computers op een specifieke manier om de wereld te zien: een wolk van miljoenen minuscule puntjes. Deze puntjes, bekend als puntenwolken, worden verzameld door sensoren die licht of geluid van oppervlakken laten weerkaatsen om een driedimensionale kaart van een kamer, een bos of een straat in een stad te maken. In tegenstelling tot een foto, die een plat rooster van pixels is, is een puntenwolk een verspreide verzameling gegevenspunten die ongelijkmatig, ijl en zonder bijzondere volgorde kunnen zijn. Dit maakt het voor een computer ongelooflijk moeilijk om te begrijken waarnaar hij kijkt. De computer moet bepalen waar het ene object eindigt en het andere begint, beslissen of een oppervlak een muur of een vloer is, en individuele items zoals stoelen of tafels bijhouden, terwijl hij tegelijkertijd moet negeren dat de puntjes op sommige plaatsen dicht op elkaar geclusterd kunnen zijn en op andere plaatsen ver uit elkaar liggen. Jarenlang hebben onderzoekers geprobeerd een enkel systeem te bouwen dat al deze taken tegelijkertijd kan uitvoeren zonder in de war te raken door de rommelige, onregelmatige aard van de gegevens.

Een team van onderzoekers heeft een nieuwe aanpak voorgesteld om dit probleem op te lossen, die zij "Calculus on Clouds" noemen. In plaats van te proberen de verspreide puntjes in een star rooster of een specifieke volgorde te dwingen, behandelt de nieuwe methode de gegevens meer als een vloeiende verzameling metingen die kunnen worden opgeteld en geanalyseerd op basis van hun vorm en dichtheid. De onderzoekers hebben hun systeem gebouwd bovenop een bestaand framework genaamd OneFormer3D, dat al in staat is om objecten en oppervlakken in de 3D-ruimte te identificeren. Ze stelden echter vast dat het oorspronkelijke systeem groepen punten te simpel behandelde, door ze vaak slechts te middelen of het meest prominente punt te kiezen, wat ertoe leidde dat belangrijke details over de geometrie van de scène verloren gingen. Om dit op te lossen, introduceerde het team drie specifieke verbeteringen die samenwerken om de computer te helpen de vorm van de kamer te "voelen" in plaats van alleen de puntjes te tellen.

De eerste verbetering richt zich op hoe de computer nabijgelegen puntjes bij elkaar groepeert. Bij de oude methode werd een groep punten die een muur vertegenwoordigde misschien samengevat door een eenvoudig gemiddelde, wat de textuur of de lichte kromming van het oppervlak kon uitwassen. De nieuwe methode, die de auteurs "Lean Gated Discretized Integration" noemen, wijst een specifiek gewicht toe aan elk afzonderlijk puntje in een groep op basis van de kenmerken ervan. Vervolgens combineert het deze gewogen punten om een samenvatting te maken die de lokale geometrie respecteert. Dit betekent dat de computer het verschil kan zien tussen een platte muur en een muur met een raam of een hoek, zelfs als de punten ongelijkmatig verspreid zijn. Het gebruikt een wiskundig concept dat vergelijkbaar is met het meten van de oppervlakte onder een curve, maar dan toegepast op de 3D-ruimte, waardoor de samenvatting van een regio gevoelig is voor de werkelijke vorm van de objecten binnen die regio.

Zodra de computer een goed begrip heeft van lokale groepen, moet hij die informatie verbinden met het grotere geheel. De tweede verbetering, bekend als "State-Aware Gated Cross-Attention", fungeert als een brug tussen de lokale details en de globale context. Stel je voor dat een computer probeert een stoel te identificeren; hij moet niet alleen weten hoe de stoel er van dichtbij uitziet, maar ook dat deze in een woonkamer staat en niet in een badkamer. Het nieuwe systeem houdt een kleine, compacte geheugenbank bij van de staat van de gehele scène. Terwijl de computer elk object verwerkt, kan hij in deze bank kijken om relevante globale informatie op te halen. Cruciaal is dat dit systeem een "poort" (gate) gebruikt om te beslissen hoeveel van die globale context te mengen met de lokale details, zodat de computer niet wordt overspoeld door te veel informatie. Dit stelt het systeem in staat om een consistent begrip van de scène te behouden terwijl het nog steeds onderscheid maakt tussen individuele objecten.

Het laatste puzzelstukje richt zich op de volgorde waarin de computer informatie verwerkt. De meeste kunstmatige intelligentiemodellen verwerken gegevens in een sequentie, zoals het lezen van woorden in een zin. Echter, 3D-puntenwolken hebben geen natuurlijke volgorde; er is geen "eerste" punt of "laatste" punt. De onderzoekers realiseerden zich dat hoewel de punten zelf ongeordend zijn, de lagen van het verwerkingsnetwerk van de computer wel een natuurlijke volgorde hebben, bewegend van eenvoudige kenmerken naar complexe kenmerken. Hun derde innovatie, genaamd "Depth-wise Selective Scan Aggregation", behandelt deze lagen als een sequentie. Het stelt de computer in staat om de informatie die door de netwerklagen stroomt in beide richtingen te bekijken — voorwaarts en achterwaarts — langs de diepte van de verwerkingslagen. Dit helpt het systeem om zijn begrip te verfijnen door de eerdere conclusies te controleren aan de hand van de latere conclusies, wat leidt tot een stabielere en nauwkeurigere uiteindelijke voorspelling zonder ooit de 3D-punten in een kunstmatige lijn te hoeven dwingen.

Toen de onderzoekers dit nieuwe systeem testten op twee belangrijke datasets van indoor 3D-scans, bekend als ScanNetV2 en S3DIS, toonden de resultaten een duidelijke verbetering ten opzien van de vorige standaard. De nieuwe methode behaalde een hogere nauwkeurigheid in het identificeren van wat elk deel van de scène was (semantische segmentatie), het scheiden van individuele objecten van elkaar (instantie-segmentatie), en het doen van beide tegelijkertijd (panoptische segmentatie). Bijvoorbeeld, op de ScanNetV2-dataset verbeterde het systeem zijn vermogen om individuele objecten te identificeren met een kleine maar consistente marge, en het algemene begrip van de lay-out van de scène werd nauwkeuriger. De onderzoekers merkten op dat deze winst niet beperkt was tot één gebied, maar verspreid was over alle verschillende taken, wat suggereert dat de nieuwe aanpak een meer gebalanceerde en robuuste manier biedt om de 3D-ruimte te zien.

De studie bevatte ook zorgvuldige controles om te verzekeren dat de verbeteringen te danken waren aan het nieuwe ontwerp en niet aan toeval. De onderzoekers voerden meerdere experimenten uit waarbij ze één onderdeel van het systeem tegelijkertijd veranderden om te zien welke componenten verantwoordelijk waren voor het succes. Ze ontdekten dat elk van de drie nieuwe componenten bijdroeg aan het uiteindelijke resultaat, waarbij de methode voor het groeperen van punten en de methode voor het lezen van de globale staat bijzonder belangrijk waren. Ze verifieerden ook dat het systeem stabiel bleef wanneer de gegevens werden geroteerd of verschoven, wat bewees dat het daadwerkelijk de vorm van de objecten leerde kennen in plaats van hun positie te memoriseren. Hoewel de verbeteringen in kleine percentages werden gemeten, benadrukten de auteurs dat in het vakgebied van computer vision zelfs een fractie van een procent een significante stap voorwaarts kan betekenen voor de betrouwbaarheid.

Ondanks deze successen zijn de onderzoekers zich bewust van de beperkingen van hun werk. Het systeem is alleen getest op indoor-scènes, zoals kamers en gebouwen, en het is nog niet bewezen dat het werkt in grootschalige outdoor-omgevingen zoals stadswegen of bossen. Ze merkten ook op dat hoewel het systeem efficiënt is, er nog ruimte is om de snelheid en het geheugengebruik te verbeteren voor real-time toepassingen op kleinere apparaten. De auteurs suggereren dat toekomstig werk kan verkennen hoe deze ideeën kunnen worden toegepast op dynamische scènes waar objecten bewegen, of hoe ze kunnen worden geïntegreerd met andere soorten sensoren. Voor nu biedt de "Calculus on Clouds"-aanpak echter een veelbelovende nieuwe manier om computers te helpen de rommelige, onregelmatige en prachtige complexiteit van de driedimensionale wereld te begrijpen, waarbij ze verder gaan dan simpel tellen naar een dieper, geometrisch begrip van de ruimte.