On Nonparanormal Likelihoods

Technische Samenvatting: Over Nonparanormale Likelihoods

Probleemstelling
De multivariate normale verdeling is fundamenteel voor de klassieke en hedendaagse statistiek vanwege de interpreteerbaarheid van de covariantie- en precisiematrices met betrekking tot marginale en conditionele onafhankelijkheid. Echter, real-world data schenden vaak de aannames van normaliteit. Hoewel nonparanormale (NPN) modellen een flexibel alternatief bieden door een latente Gaussische structuur te combineren met flexibele niet-parametrische marginalen, vertrouwen bestaande schattingsprocedures vaak op een "twee-stappen"-aanpak. In dit standaard schema worden eerst de niet-parametrische marginale verdelingen geschat, en daarna de copula-parameters, waarbij de marginale schattingen als bekend worden beschouwd. Deze aanpak is onvoldoende voor toepassingen die semiparametrische efficiëntie, foutenberekening of gezamenlijke modellering van covariaat-effecten in zowel de marginalen als de copula vereisen. Bovendien hebben ranggebaseerde benaderingen moeite met gemengde continue-discrete data of afhankelijke censoring, wat volledige likelihood-gebaseerde inferentie noodzakelijk maakt.

Methodologie
Het artikel stelt een verenigd framework voor de simultane maximum likelihood schatting (MLE) van alle parameters in nonparanormale modellen, die discrete, continue en gemengde discrete-continue responsen beslaat.

1. Modelparameterisatie:

   • Het model $Y \sim \text{NPN}(h, \Sigma)$ gaat uit van $J$ responsvariabelen die door monotone functies $h$ worden getransformeerd naar een latente multivariate normale verdeling $Z \sim N_J(0, \Sigma)$.
   • Marginale transformaties $h_j$ worden ofwel niet-parametrisch geparametriseerd (als stapfuncties gebaseerd op empirische rangordes) of semiparametrisch (met behulp van gladde bases zoals splines of Bernstein-polynomen).
   • De covariantiestructuur wordt geparametriseerd via de inverse onderste driehoekige Cholesky-factor $\Omega$ van $\Sigma$, wat positieve semidefinitie waarborgt. Twee identificatiebeperkingen worden besproken: het vastzetten van de diagonaal van $\Omega$ op 1 of het vastzetten van de diagonaal van $\Sigma$ op 1.

2. Likelihood Formuleringen:
   De auteur definieert vier verschillende log-likelihood functies om verschillende datatypen en computationele behoeften aan te pakken:

   • NPN Log-likelihood: Een directe uitbreiding van Jöreskogs bivariate ordinale likelihood, die de multivariate normale dichtheid integreert over boxen gedefinieerd door de geobserveerde rangordes. Dit behandelt discrete en gemengde data via massakansen.
   • Smooth NPN Log-likelihood: Vervangt de niet-parametrische stapfuncties door gladde transformaties (bijv. splines), waardoor het aantal parameters voor oneindige steekproefruimtes wordt verminderd.
   • Flow NPN Log-likelihood: Voor absoluut continue responsen, benadert de log-kansen de log-dichtheden, waardoor het effectief gebruik wordt gemaakt van normalizing flows. Dit staat de inclusie van Jacobian-termen toe.
   • Mixed NPN Log-likelihood: Combineert de flow-benadering voor continue variabelen met de probabilistische benadering voor discrete variabelen, wat het mogelijk maakt om gemengde datatypen en limit-of-detection (gecensureerde) observaties te behandelen.

3. Optimalisatie en Computatie:

   • Het artikel demonstreert dat de negatieve log-likelihoods over het algemeen niet-convex zijn met betrekking tot de gezamenlijke parameterruimte van marginalen en copula.
   • Echter, specifieke subproblemen zijn biconvex (convex in marginalen gegeven de copula, en vice versa).
   • Om niet-convexiteit aan te pakken, worden drie convexe benaderingen voorgesteld om startwaarden te genereren: (1) een twee-stappen pseudo-likelihood benadering, (2) een alternerende convexe zoektocht (ACS), en (3) een sequentieel passende procedure.
   • De kern van de computationele bijdrage is de afleiding van exacte scorefuncties voor de multivariate normale waarschijnlijkheden berekend via de Genz quasi-Monte Carlo integratiemethode, in plaats van de scorefunctie zelf te benaderen.

Belangrijkste Resultaten

• Convexiteitseigenschappen: Theoretische analyse bevestigt dat hoewel de volledige optimalisatie niet-convex is, de flow NPN log-likelihood biconvex is in de transformatieparameters en de copula-parameters.
• Empirische Prestaties (HCC Discriminant Analyse): In een case-control studie naar biomarkers voor hepatocellulair carcinoom (waarvan sommige onderhevig zijn aan limit-of-detection/censoring), leverde de simultane schatting met de mixed NPN log-likelihood resultaten op die vergelijkbaar waren met convexe benchmarks voor lineaire modellen, maar bood het superieure flexibiliteit voor niet-lineaire transformaties. De studie vond dat het negeren van censoring een verwaarloosbare impact had op de parameterschattingen in deze specifieke dataset, hoewel de mixed likelihood een theoretisch correct kader bood.
• Semiparametrische Efficiëntie (Polychorische Correlaties): Simulatiestudies die de estimators vergeleken met de theoretische semiparametrische efficiëntiegrens (Klaassen en Wellner, 1997) lieten zien dat NPN log-likelihood estimators deze grens bereiken voor continue data. Cruciaal is dat voor kleine steekproeven en gemengde datatypen, de NPN estimators minder bevooroordeelde schattingen en nauwkeurigere standaardfouten (via de inverse Hessian) boden vergeleken met twee-stappen maximum pseudo-likelihood estimators.
• Computationele Haalbaarheid: De implementatie van de scorefunctie maakt gezamenlijke MLE mogelijk in problemen waar voorheen methoden werden gebruikt die vertrouwden op composite likelihood of numerieke differentiatie, wat resulteert in snellere convergentietijden voor hoogdimensionale ordinale data vergeleken met composite likelihood benaderingen.

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework een "één-stap" likelihood-gebaseerde inferentie mogelijk maakt voor nonparanormale modellen, wat voordelig is wanneer:

1. Interpreteerbaarheid essentieel is: Gezamenlijke schatting maakt geldige inferentie mogelijk op de effecten van covariaten in zowel de marginale als de copula-componenten, wat cruciaal is in afhankelijke censoring en structurele vergelijkingsmodellen.
2. Data gemengd of gecensureerd is: De mixed NPN log-likelihood biedt een principieel kader voor het gelijktijdig behandelen van continue en discrete variabelen, inclusief limit-of-detection kwesties, zonder te vertrouwen op ranggebaseerde benaderingen die moeilijk te rechtvaardigen kunnen zijn in dergelijke contexten.
3. Efficiëntie en Onzekerheidskwantificatie: De methode bereikt de semiparametrische efficiëntiegrenzen en biedt betrouwbaardere standaardfouten dan twee-stappen benaderingen, vooral in kleine steekproeven.

De auteur merkt bescheiden op dat hoewel de niet-convexiteit van het probleem uitdagingen vormt voor penalisatie in ultra-hoge dimensies, het framework dient als een robuuste benchmark voor het evalueren van andere benaderingen en biedt een computationeel haalbaar instrumentarium voor een breed scala aan multivariate toepassingen, waaronder transformatie discriminant analyse en grafische modellen met niet-normale responsen.