Resumo Técnico: Detecção de Outliers Explicável para Dados Funcionais Multivariados

Declaração do Problema

A Análise de Dados Funcionais Multivariados (FDA) envolve a análise de dados representados como funções contínuas em múltiplas variáveis (por exemplo, séries temporais de vários sensores). Embora a Análise de Componentes Principais Funcionais (FPCA) seja uma ferramenta dominante, a estimação robusta das funções de média e covariância permanece um desafio crítico, particularmente na presença de outliers. Outliers podem distorcer severamente estimativas não robustas, levando a conclusões não confiáveis. Além disso, os métodos existentes de detecção de outliers frequentemente carecem de interpretabilidade; eles identificam que uma observação é anômala, mas falham em explicar por quê — especificamente, quais componentes (variáveis) e em quais pontos no tempo a desvio ocorre.

A literatura atual oferece métodos robustos para dados funcionais univariados e abordagens baseadas em profundidade para configurações multivariadas, mas há uma lacuna na oferta de um quadro unificado que combine estimação baseada em distância robusta com explicações de outliers interpretáveis, específicas de componentes e de tempo, para dados funcionais multivariados, particularmente sob estruturas de covariância separáveis.

Metodologia

O quadro proposto integra três componentes principais: estimação robusta de covariância, uma distância de Mahalanobis funcional multivariada truncada e decomposição baseada em valores de Shapley.

1. Quadro Teórico: Covariância Separável e Representação em Base

O método assume que o processo estocástico multivariado $X(t)$ possui uma estrutura de covariância separável, onde o núcleo de covariância $K(s, t)$ decompõe-se em uma matriz de covariância cruzada $\Sigma_{row}$ (entre componentes) e um núcleo temporal $\kappa(s, t)$ (dentro dos componentes):
$$K(s, t) = \Sigma_{row} \kappa(s, t)$$
Para lidar com observações discretas, os dados são suavizados usando uma representação em base finita (por exemplo, B-splines). Uma contribuição teórica chave é o estabelecimento de um vínculo direto entre o processo funcional e sua matriz de coeficientes $A$. Se $X(t) = A' \phi(t)$, o artigo prova que, sob separabilidade, a matriz de coeficientes $A$ segue uma distribuição matricial com média $M_A$ e covariâncias $\Sigma_{row}$ e $\Sigma_{col}$ (onde $\Sigma_{col}$ relaciona-se a $\kappa$). Isso permite que a distância de Mahalanobis funcional seja computada como uma distância de Mahalanobis matricial sobre as matrizes de coeficientes, reduzindo significativamente a complexidade computacional.

2. Estimação Robusta: MMCD

Para garantir robustez contra outliers, o quadro emprega o estimador Minimum Covariance Determinant Matricial (MMCD) (Mayrhofer et al., 2025) para estimar a média e a covariância das matrizes de coeficientes. Esta abordagem é altamente robusta, eficiente e consistente para distribuições elípticas matriciais. Os estimadores MMCD ($\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$) são usados para construir uma distância funcional de Mahalanobis truncada robusta.

3. Métrica de Distância: Distância de Mahalanobis Funcional Multivariada Truncada (fMMD)

Os autores definem a semidistância de Mahalanobis funcional multivariada truncada ao quadrado (fMMD) como:
$$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$$
onde $(\pi_k, \psi_k)$ são os pares de autovalores e autovetores do operador de covariância. Sob a suposição de separabilidade, esta distância é mostrada como equivalente à distância de Mahalanobis matricial da matriz de coeficientes $A$. Esta equivalência permite computação eficiente usando estimadores matriciais robustos.

4. Explicabilidade: Decomposição por Valores de Shapley

Para abordar a natureza de "caixa preta" da detecção de outliers, o artigo generaliza os valores de Shapley (da teoria dos jogos cooperativos) para decompor a totalidade da anomalia (fMMD) em contribuições aditivas.

• Específico por coordenada: Identifica qual variável (componente) contribui mais para a anomalia.
• Específico por tempo: Identifica quais intervalos de tempo contribuem mais.
• Específico por tempo e coordenada: Decompõe simultaneamente as contribuições por variável e intervalo de tempo.

Crucialmente, os autores derivam uma solução de forma fechada para essas contribuições que reduz a complexidade computacional de exponencial (relativa ao número de componentes) para linear, mantendo as propriedades chave dos valores de Shapley (eficiência, simetria, monotonicidade).

Contribuições Principais

1. Quadro Robusto para FDA Multivariada: O artigo introduz um quadro abrangente para estimação robusta de média e covariância em dados funcionais multivariados usando estimadores MMCD aplicados a coeficientes de base sob uma suposição de covariância separável.
2. Vínculo Teórico entre Distribuições Funcionais e Matriciais: Estabelece rigorosamente que a separabilidade do operador de covariância em um processo funcional multivariado se traduz em uma estrutura separável específica na distribuição da matriz de coeficientes aleatória. Isso une a robustez funcional com a teoria de robustez matricial.
3. Detecção de Outliers Explicável e Eficiente: O trabalho generaliza os valores de Shapley para dados funcionais, fornecendo um método principiado para decompor a anomalia funcional multivariada em contribuições específicas de tempo e componente. A derivação de um algoritmo de complexidade linear para essas decomposições é um avanço computacional significativo.
4. Validação Empírica: O método é validado através de simulações extensas e aplicações do mundo real, demonstrando sua eficácia na detecção de vários tipos de outliers (deslocamento, forma, isolados, induzidos por covariância) e sua robustez mesmo quando a suposição de separabilidade é mal especificada.

Resultados

Estudos de Simulação

Simulações extensas foram conduzidas comparando o método proposto (distância de Mahalanobis baseada em MMCD) contra métodos baseados em profundidade de última geração (por exemplo, fSDO, fAO, fDO), gráficos de magnitude-forma e florestas de isolamento funcionais.

• Desempenho: A abordagem baseada em distância robusta proposta superou consistentemente os métodos concorrentes em termos de F-score, AUC e recall, particularmente para outliers de deslocamento e forma.
• Robustez a Especificação Incorreta: Mesmo quando os dados violaram a suposição de separabilidade (processos não separáveis), o método proposto permaneceu eficaz, frequentemente superando estimadores de covariância amostral não regularizados devido a um favorável compromisso viés-variância.
• Dados Não Gaussianos: Em configurações de caudas pesadas (distribuições t), o método robusto manteve alto recall e AUC, embora a precisão fosse menor devido à dificuldade em distinguir caudas de distribuição de outliers verdadeiros.
• Interpretabilidade: Os valores de Shapley identificaram com sucesso as coordenadas específicas e os intervalos de tempo responsáveis pelos outliers, superando medidas de desvio ingênuas e escores locais baseados em profundidade em cenários de contaminação localizada.

Aplicações do Mundo Real

1. Oscilação Sul de El Niño (ENSO): Analisados dados de temperatura da superfície do mar (SST) de quatro regiões Niño. A abordagem multivariada identificou episódios de ENSO mais extremos do que a análise univariada. A decomposição de Shapley revelou que os eventos El Niño foram impulsionados pelo aquecimento em Niño 3.4 e Niño 3, enquanto os eventos La Niña foram impulsionados pelo resfriamento em Niño 4 e Niño 3.
2. Soldagem por Ponto de Resistência: Aplicado a curvas de resistência dinâmica da manufatura automotiva. O método alcançou um AUC de 0,95, superando outros métodos, e identificou com sucesso quais pontos de solda e intervalos de tempo eram anômalos em casos de expulsão.
3. Taxas de Fertilidade: Analisadas curvas de fertilidade específicas por idade para 22 países. O método robusto detectou outliers mascarados por estimadores clássicos (por exemplo, EUA, Alemanha) e forneceu insights interpretáveis sobre mudanças no momento da fertilidade entre diferentes grupos etários e décadas.

Significado e Alegações

O artigo alega fornecer uma abordagem robusta e interpretável para analisar dados funcionais multivariados com estruturas de covariância separáveis. Seu significado reside em:

• Ir além da detecção para a explicação: Ao integrar valores de Shapley, o quadro não apenas sinaliza anomalias, mas as explica em termos de componentes e pontos de tempo específicos, o que é crucial para especialistas do domínio (por exemplo, climatologistas, engenheiros de manufatura).
• Eficiência Computacional: A redução da complexidade do valor de Shapley de exponencial para linear torna o método escalável para dados funcionais de alta dimensão.
• Robustez: O uso de estimadores MMCD garante que a detecção e a interpretação não sejam distorcidas pelos próprios outliers que visam encontrar.
• Utilidade Prática: O quadro é mostrado como eficaz mesmo quando as suposições do modelo (separabilidade, normalidade) não são perfeitamente atendidas, tornando-o uma ferramenta viável para análise de dados do mundo real onde tais suposições são frequentemente aproximações.

Os autores concluem que, embora a suposição de separabilidade simplifique a modelagem, o estimador estruturado proposto atua como uma aproximação robusta que frequentemente produz diagnósticos mais estáveis do que estimadores sem restrições em tamanhos de amostra moderados. Trabalhos futuros são sugeridos para estender essas técnicas de estimação robusta a estruturas de covariância não separáveis.