Maximum Likelihood Estimation for System Identification of Networks of Dynamical Systems

Technische Samenvatting: Maximum Likelihood Schatting voor Systeemidentificatie van Netwerken van Dynamische Systemen

Probleemstelling
Het artikel behandelt de uitdaging van het identificeren van de open-loop overdrachtsfuncties van netwerken van onderling verbonden dynamische systemen. Terwijl bestaand onderzoek naar de identificatie van dynamische netwerken wordt gecategoriseerd in topologie-estimatie, identificatie van enkelvoudige modules en volledige netwerkdynamica-identificatie, richt dit werk zich op de derde categorie: het identificeren van de volledige netwerkdynamica voor een gegeven topologie.

Een primaire beperking van bestaande Maximum Likelihood (ML) methoden in dit domein (bijv. [33]) is de vereiste dat alle signaalnodes in het netwerk gemeten worden. In veel praktische scenario's zijn metingen echter alleen beschikbaar voor een subset van de nodes. Bovendien vertrouwen standaard ML-formuleringen voor dergelijke problemen met gedeeltelijke observatie vaak op voorspellers die algebraïsche Riccati-vergelijkingen bevatten, wat leidt tot niet-convexe optimalisatieproblemen die moeilijk numeriek op te lossen zijn. De auteurs streven ernaar een ML-raamwerk te vestigen dat consistent en efficiënt is, zelfs wanneer niet alle netwerknodes gemeten kunnen worden, mits het netwerk voldoet aan specifieke identificeerbaarheidsvoorwaarden.

Methodologie
De auteurs stellen een directe ML-benadering voor voor het identificeren van de parameters $(a, b, c, \lambda)$ van ARMAX-modellen die de individuele systemen binnen het netwerk representeren. De methodologie verloopt via de volgende belangrijke theoretische en algoritmische stappen:

1. Modelformulering: Het netwerk wordt gemodelleerd als een collectie Single-Input Single-Output (SISO) ARMAX-systemen die via een lineaire statische feedbackstructuur met elkaar verbonden zijn. Het closed-loop systeem wordt beschreven in state-space vorm, waarbij exogene signalen en ruis worden geïncorporeerd.
2. Voorspeller en Innovatievorm: De auteurs leiden de innovatievorm van het closed-loop systeem af, die de Kalman-voorspeller definieert. Zij stellen voorwaarden vast (Aannames A2 en A3) waaronder de oplossing van de bijbehorende algebraïsche Riccati-vergelijking uniek is en de voorspeller stabiel is.
3. Consistentie en Efficiëntie: Het artikel bewijst dat de ML-schattingen consistent zijn (convergerend naar de ware parameters naarmate de datalengte $N \to \infty$) en efficiënt (het bereiken van de Cramér-Rao lower bound). Dit bewijs rust op het concept van de "informativiteit" van de signalen en "generieke netwerkidentificeerbaarheid". De auteurs demonstreren dat hoewel de open-loop overdrachtsfuncties $(G)$ consistent geïdentificeerd kunnen worden onder generieke netwerkidentificeerbaarheid, de ruisdynamica $(H)$ over het algemeen niet geïdentificeerd kan worden, tenzij aan specifieke structurele voorwaarden wordt voldaan (zoals volledige meting van alle nodes of specifieke netwerktopologieën).
4. Equivalente Optimalisatieformulering: Een significante methodologische bijdrage is de herformulering van het ML-probleem. Standaardformuleringen behandelen het probleem als een geconstrueerde optimalisatie met betrekking tot de algebraïsche Riccati-vergelijking. De auteurs tonen aan dat het probleem equivalent geformuleerd kan worden als een onbeperkt optimalisatieprobleem door de niet-gemeten toestanden en ruissequenties als latente variabelen (missing data) te behandelen. Deze benadering, geïnspireerd door [15] en [32], elimineert de noodzaak voor expliciete voorspeller-constraints of Riccati-vergelijking solvers tijdens het optimalisatieproces, wat de weg vrijmaakt voor meer efficiënte numerieke oplossingen.

Belangrijkste Bijdragen
Het artikel vat zijn bijdragen als volgt samen:

1. Theoretische Garanties: Het stelt de voorwaarden vast voor de consistentie en efficiëntie van ML-systeemidentificatie voor netwerken. Dit generaliseert eerder werk op enkelvoudige systemen naar netwerken en biedt alternatieve bewijzen voor het ergodische geval.
2. Onbeperkte Optimalisatie: Het formuleert het ML-identificatieprobleem als een onbeperkt optimalisatieprobleem. Dit omzeilt de numerieke moeilijkheden die gepaard gaan met de niet-convexe constraints die typisch zijn voor predictor-gebaseerde ML-formuleringen.
3. Capaciteit voor Gedeeltelijke Meting: De methode is toepasbaar, zelfs wanneer niet alle netwerknodes gemeten worden, mits het netwerk voldoet aan generieke netwerkidentificeerbaarheid. Dit contrasteert met bestaande ML-methoden die volledige node-observabiliteit vereisen.

Resultaten
De auteurs valideren hun benadering met behulp van numerieke experimenten gebaseerd op een netwerk van dynamische systemen (een specifieke topologie uit [16]).

• Vergelijking met PEM: De voorgestelde ML-methode wordt vergeleken met Prediction Error Method (PEM) benaderingen. In gevallen waarin beide methoden toepasbaar zijn (bijv. wanneer specifieke signalen een lineaire predictorformulering mogelijk maken), bereikt de ML-methode fit-waarden die vergelijkbaar zijn met PEM.
• Robuustheid bij Gedeeltelijke Data: De ML-methode identificeert de netwerkdynamica succesvol wanneer slechts een subset van de signalen (bijv. $u_3$) gemeten wordt, een scenario waarin lineaire PEM-formuleringen er niet in slagen alle overdrachtsfuncties te identificeren zonder overfitting of bias.
• Prestatie-indicatoren: Hoewel de ML-methode een iets hogere computationele tijd en een kleine mate van niet-convergentie vertoont (toe te schrijven aan het niet-convexe karakter van het probleem) vergeleken met PEM, vertoont het een lagere Mean Squared Error (MSE) en bias in de parameterschattingen, met name in scenario's met beperkte data waar PEM de neiging heeft tot overfitting.
• Identificeerbaarheid: De resultaten bevestigen dat de methode de open-loop overdrachtsfuncties $G$ consistent kan herstellen, zelfs wanneer de ruisdynamica $H$ niet volledig kan worden hersteld door het gebrek aan volledige netwerkmetingen.

Betekenis
Het artikel stelt dat de primaire betekenis ligt in het bieden van een theoretisch solide en numeriek hanteerbaar ML-raamwerk voor netwerkidentificatie dat de strikte eis van volledige node-observabiliteit versoepelt. Door het probleem te herformuleren om expliciete predictor-constraints te vermijden, maakt de methode van de auteurs de toepassing van ML mogelijk op een bredere klasse van netwerkidentificatieproblemen. Het werk benadrukt dat hoewel lineaire PEM-methoden computationeel sneller kunnen zijn, ze kunnen lijden onder bias en overfitting in complexe netwerkscenario's of bij korte datareeksen, terwijl de voorgestelde ML-benadering een robuustere oplossing biedt voor het verkrijgen van consistente en efficiënte schattingen onder algemene identificeerbaarheidsvoorwaarden. De auteurs merken op dat hun resultaten triviaal uitgebreid kunnen worden naar gevallen waarin sommige overdrachtsfuncties bekend zijn.