Resumo Técnico: Testando a Suposição de Dados Ausentes Completamente ao Acaso para Dados Funcionais

Declaração do Problema

A Análise de Dados Funcionais (FDA) tradicionalmente assume que as observações estão disponíveis sobre um domínio comum. No entanto, em muitas aplicações práticas, os dados são "parcialmente observados", o que significa que cada função é observável apenas em um subconjunto $O$ do domínio $I$, com valores ausentes em $I \setminus O$. Uma premissa crítica para a maioria dos métodos existentes de reconstrução e inferência para tais dados é a suposição de que o mecanismo de ausência é Ausência Completamente ao Acaso (MCAR - Missing Completely at Random). Esta suposição postula que a função observada $X$ e o conjunto de observação $O$ são independentes.

Embora existam inúmeros métodos para recuperar dados funcionais ausentes sob a suposição MCAR (ex: Delaigle e Hall, 2016; Kraus, 2015), há uma carência de procedimentos estatísticos gerais para validar essa suposição. Testes existentes para MCAR em configurações multivariadas (ex: Little, 1988) dependem do agrupamento de dados por padrões de ausência distintos. Essa abordagem é inviável para dados funcionais porque o número de conjuntos de observação distintos é uncountavelmente infinito e, na prática, cada padrão de observação pode ser único. O artigo aborda a lacuna no desenvolvimento de um framework de teste geral para determinar se $X$ e $O$ são independentes.

Metodologia

1. Particionamento de Conjuntos de Observação

O núcleo do framework proposto é particionar o espaço de conjuntos de observação $\mathcal{K}$ em dois subconjuntos disjuntos, $\mathcal{A}$ e $\mathcal{B}$, tal que $\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$.

• Particionamento Ad Hoc: Uma abordagem simples divide os dados em funções "completas" e "incompletas".
• Agrupamento Sistemático: Os autores propõem uma abordagem de agrupamento baseada em centroides. Eles definem uma distância entre conjuntos $S_1, S_2$ usando a medida de diferença simétrica $d(S_1, S_2) = \lambda(S_1 \triangle S_2)$, que corresponde à distância $L^1$ entre suas funções indicadoras.
• Centros Ótimos: O particionamento é determinado pela busca de dois centros (medianas) ótimos $M_A$ e $M_B$ que minimizam a distância esperada até o centro mais próximo. Os conjuntos $\mathcal{A}$ e $\mathcal{B}$ são definidos como as células de Voronoi associadas a esses centros.
• Restrição de Domínio: Para garantir uma comparação válida, a análise é restrita a um subdomínio $I \subset [0, 1]$ onde ambos os grupos possuem cobertura suficiente (especificamente, $P(t \in O | \mathcal{A}) > 0$ e $P(t \in O | \mathcal{B}) > 0$).

2. Teste de Hipótese

A hipótese nula $H_0$ (MCAR) implica que $X$ e $O$ são independentes. O framework de teste avalia uma hipótese mais forte $H_0^F$:
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
Sob $H_0^F$, a distribuição condicional do processo dado o conjunto de observação deve ser idêntica. Os autores propõem duas estatísticas de teste:

• Comparação de Médias ($T_\mu$):
  Este estatístico compara as funções de média empírica dos dois grupos, $\hat{\mu}_{\mathcal{A}}(t)$ e $\hat{\mu}_{\mathcal{B}}(t)$.
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  Os autores estabelecem que, sob MCAR, $T_\mu$ converge para o supremo de um processo Gaussiano. Uma contribuição teórica fundamental é lidar com o fato de que as funções de média empírica de dados parcialmente observados são geralmente descontínuas (càdlàg), exigindo o uso do espaço Skorokhod $D[0, 1]$ em vez de $L^2[0, 1]$ ou $C[0, 1]$.

• Comparação de Distribuições ($T_F$):
  Este estatístico compara as funções de distribuição condicional empírica $\hat{F}_{\mathcal{A}}(t, z)$ e $\hat{F}_{\mathcal{B}}(t, z)$.
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  Este é um estatístico do tipo Cramér–von Mises. Demonstra-se que ele é consistente contra uma classe mais ampla de alternativas do que a comparação de médias, pois detecta diferenças em toda a distribuição, não apenas na média.

3. Teoria Assintótica e Implementação

O artigo deriva as distribuições assintóticas para ambos os estatísticos de teste sob a hipótese nula. As distribuições limites envolvem processos Gaussianos com estruturas de covariância específicas que dependem dos padrões de observação.

• Estimativa de Covariância: Os autores fornecem estimadores para as funções de covariância necessárias para aproximar a distribuição nula.
• Bandas de Confiança Simultâneas: Um método é introduzido para construir bandas de confiança simultâneas para a diferença nas funções de média, fornecendo uma ferramenta gráfica para visualizar potenciais violações de MCAR.
• Consistência: Resultados teóricos (Teorema 3) estabelecem que os testes são consistentes contra alternativas onde as funções de média ou as funções de distribuição diferem entre os grupos.

Principais Resultados

Estudo de Simulação

A metodologia foi avaliada usando simulações de movimento Browniano:

• Erro do Tipo I: Sob MCAR, ambos os testes ($T_\mu$ e $T_F$) mantiveram taxas de erro próximas ao nível nominal (0,05) através de vários tamanhos de amostra ($n=100, 250, 500$).
• Poder:
  • Em cenários onde o MCAR foi violado devido ao censuramento (Ausência Não Ao Acaso - MNAR), o teste de distribuição $T_F$ demonstrou maior poder do que o teste de média $T_\mu$.
  • Especificamente, em cenários de censuramento simétrico onde as médias condicionais dos grupos eram idênticas ($\|\mu_A - \mu_B\|_\infty = 0$), $T_\mu$ falhou em rejeitar a hipótese nula, enquanto $T_F$ detectou com sucesso a violação.
  • A abordagem de agrupamento sistemático apresentou desempenho comparável ou superior ao de partições determinísticas (ex: completas vs. incompletas) em muitos cenários, particularmente para amostras menores.

Aplicações com Dados Reais

O framework foi aplicado a três conjuntos de dados:

1. Dados de Frequência Cardíaca (Projeto Swiss Kidney): Análise de 878 perfis de frequência cardíaca. Os testes não rejeitaram a suposição MCAR ($p$-valores: 0,765 para $T_\mu$, 0,911 para $T_F$). Isso apoia a visão epidemiológica de que a ausência (devido à remoção ou falha do dispositivo) é aleatória.
2. Dados de Preços de Eletricidade: Análise de 583 curvas de preços semanais. Os testes rejeitaram fortemente o MCAR ($p < 0,001$). O gráfico de diferença de médias mostrou desvios significativos, alinhando-se com a estrutura de mercado onde os níveis de preço correlacionam-se com a duração da observação (conjuntos de observação maiores correspondem a preços mais altos).
3. Dados de Temperatura: Análise de 76 curvas de temperatura diária. Os testes rejeitaram o MCAR ($p$-valores: 0,036 para $T_\mu$, 0,054 para $T_F$). Os resultados sugeriram um potencial defeito técnico no sensor (ex: sensibilidade a altas temperaturas ou problemas de energia) em vez de ausência aleatória.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Framework Inovador: Introduz o primeiro framework de teste geral para a suposição MCAR em dados funcionais, superando a inviabilidade do agrupamento por padrões usado em contextos multivariados.
2. Particionamento Sistemático: Propõe um método de agrupamento adaptativo aos dados baseado na distância Fréchet-Nikodym-Aronszajn para dividir sistematicamente os conjuntos de observação, em vez de depender apenas de definições ad hoc.
3. Avanço Teórico: Estabelece resultados assintóticos para dados funcionais no espaço Skorokhod $D[0, 1]$, acomodando as descontinuidades inerentes às funções de média parcialmente observadas.
4. Superioridade dos Testes de Distribuição: Os autores demonstram que comparar distribuições completas ($T_F$) é mais robusto e poderoso do que comparar médias ($T_\mu$), particularmente em casos onde a ausência afeta momentos de ordem superior ou formas de distribuição, mas não a média.
5. Utilidade Prática: A metodologia fornece uma ferramenta de diagnóstico para pesquisadores validarem as suposições que sustentam seus métodos de reconstrução de dados funcionais, ilustrada pela capacidade de detectar defeitos de sensores e ausência impulsionada pelo mercado em exemplos do mundo real.

Os autores observam que, embora sua abordagem seja geral, o poder do teste depende da escolha da partição. Eles sugerem que, para amostras pequenas, partições determinísticas guiadas por especialistas podem ser preferíveis, e trabalhos futuros poderiam explorar métodos de classificação supervisionada para otimizar a separação de grupos.