CoCoNet: : Convex Conformal Network for Multi-Dimensional Uncertainty Regions

In de wereld van data science is het voorspellen van een enkel getal vaak eenvoudig, maar het voorspellen van een cluster van gerelateerde uitkomsten is een geheel andere uitdaging. Wanneer een model de toekomst voorspelt, biedt het zelden een enkel, perfect punt; in plaats daarvan moet het een reeks plausibele uitkomsten bieden om rekening te houden met onzekerheid. Voor eenvoudige voorspellingen kan deze reikwijdte een enkel interval zijn. Echter, wanneer er tegelijkertijd meerdere zaken worden voorspeld — zoals de toekomstige positie van een auto in drie dimensies, of de temperatuur, luchtvochtigheid en windsnelheid bij een weerstation — vormt de onzekerheid een complexe, meerdimensionale vorm. Het doel is om een grens te trekken rond deze mogelijkheden die strak genoeg is voor besluitvorming, maar breed genoeg om betrouwbaar te zijn. Als de grens te ruim is, biedt het geen praktisch nut; als het te nauw is, loopt het het risico de werkelijke uitkomst te missen. De uitdaging ligt in het vormgeven van deze grens zodat deze overeenkomt met de ware, vaak onregelmatige geometrie van de onzekerheid, in plaats van deze te dwingen in een rigide, vooraf gedefinieerde vorm zoals een doos of een sfeer.

Een team onderzoekers aan het Georgia Institute of Technology heeft een nieuwe methode ontwikkeld genaamd CoCoNet om dit probleem op te lossen. Hun werk richt zich op het creëren van voorspellingsregio's die niet alleen wiskundig gegarandeerd correct zijn in een bepaald percentage van de gevallen, maar ook zo klein en efficiënt mogelijk zijn. Traditionele methoden vertrouwen vaak op vaste geometrische sjablonen, zoals het uitrekken van een ellips of een rechthoek om de data te passen. Hoewel deze vormen gemakkelijk te hanteren zijn, schieten ze tekort wanneer de ware onzekerheid scheef, asymmetrisch of heeft een complexe, onregelmatige vorm. De onderzoekers ontdekten dat door een computer te leren de vorm van de onzekerheid direct van de data te leren, terwijl strikt wordt afgedwongen dat de vorm convex moet zijn — wat betekent dat deze geen naar binnen liggende deuken of gaten heeft — zij voorspellingszones konden creëren die perfect adapteren aan de structuur van de data.

De kern van hun aanpak bestaat uit een tweestaps-proces. Eerst leert het systeem een scorefunctie die meet hoe "verrassend" een potentiële uitkomst is in vergelaling met een standaardvoorspelling. Cruciaal is dat deze scorefunctie convex is ontworig, wat garandeert dat de resulterende regio van plausibele uitkomsten een enkele, solide vorm is zonder gaten. De onderzoekers testten twee versies van dit systeem: één die vormen bouwt met behulp van een reeks verbonden platte vlakken, vergelijkbaar met een gevouwen vel papier, en een andere die een zeer flexibele neurale netwerkarchitectuur gebruikt die in staat is de vorm op bijna elke manier te boetseren. Ze hebben deze geleerde vormen vervolgens gekalibreerd met een aparte set data om ervoor te zorgen dat ze aan de vereiste dekkinggarantie voldoen. Dit betekent dat als het systeem is ingesteld op 90% vertrouwen, de werkelijke uitkomst in 90% van de gevallen binnen de voorspelde regio valt, ongeacht de onderliggende datadistributie.

Om hun methode te testen, pasten de onderzoekers het toe op dertig verschillende real-world problemen, variërend van het voorspellen van de bewegingen van autonome voertuigen tot het schatten van het energieverbruik in gebouwen en het analyseren van de chemische eigenschappen van moleculen. Deze taken hielden het tegelijkertijd voorspellen van ergens tussen de twee en zestien verschillende uitkomsten in. Ze vergeleken hun nieuwe methode met verschillende bestaande technieken, waaronder die welke eenvoudige rechthoeken, ellipsen of andere standaardvormen produceren. De resultaten waren opmerkelijk. De meest flexibele versie van hun systeem, die het neurale netwerk gebruikt om de vorm te leren, produceerde de meest efficiënte voorspellingsregio's in tweeëntwintig van de dertig taken. In veel gevallen waren de gegenereerde regio's aanzienlijk kleiner dan die van de beste bestaande methoden, wat betekent dat het veel nauwere, nuttigere grenzen aan de onzekerheid kon bieden zonder de betrouwbaarheid op te offeren.

De studie onderzocht ook wat er gebeurt wanneer de onderliggende onzekerheid niet in een net patroon past. In synthetische tests waarbij de ware onzekerheid de vorm had van een driehoek of een trapezia, hadden standaardmethoden moeite, waarbij ze vaak grote, inefficiënte regio's produceerden die ruimte verspillen om het correcte gebied te dekken. In tegenstelling hiertoe leerde de nieuwe methode de exacte geometrie van deze vormen, waardoor voorspellingsregio's ontstonden die de data nauwgezet volgden. Zelfs in gevallen waar de onzekerheid ongeveer elliptisch was, presteerde de nieuwe methode even goed als of beter dan methoden die specifiek voor ellipsen zijn ontworpen, wat de veelzijdigheid bewees. De onderzoekers toonden aan dat door de vorm te laten leren van de data in plaats van deze van buitenaf op te leggen, het systeem subtiele asymmetrieën en afhankelijkheden tussen de verschillende uitkomsten kon vastleggen die andere methoden misten.

Dit werk is belangrijk omdat de kwaliteit van een voorspellingsregio direct van invloed is op de beslissingen die op basis daarvan worden genomen. In velden zoals robotica, financiën of klimaatmodellering stelt het kennen van de precieze grenzen van onzekerheid mogelijk om veiliger en effectiever te plannen. Een voorspellingsregio die onnodig groot is, dwingt besluitvormers om zich voor te bereiden op scenario's die onwaarschijnlijk zijn, wat leidt tot inefficiënt gebruik van middelen. Omgekeerd kan een regio die te klein is, de werkelijke uitkomst missen, wat kan leiden tot catastrofale fouten. Door een manier te bieden om voorspellingsregio's te genereren die zowel wiskundig solide als geometrisch efficiënt zijn, biedt deze nieuwe methode een betrouwbaarder instrument voor het navigeren door onzekerheid in complexe, meerdimensionale omgevingen. De onderzoekers hebben hun code en data beschikbaar gesteld, waardoor anderen deze aanpak op hun eigen problemen kunnen toepassen, waarmee de kloof tussen theoretische garanties en praktische, hoogwaardige onzekerheidskwantificering wordt overbrugd.