Composition as Direction: An Active-Set Ray-Based Model for Sparse High-Dimensional Compositional Data

Resumo Técnico: Composição como Direção: Um Modelo de Raio Baseado em Conjunto Ativo para Dados Composicionais Esparsos de Alta Dimensão

1. Declaração do Problema

Dados composicionais, prevalentes em pesquisas microbianas, ecológicas e ambientais, apresentam quatro desafios simultâneos: zeros exatos, dependência latente entre componentes, alta dimensionalidade e a restrição de soma unitária (fechamento de simplex). A restrição de soma unitária induz uma geometria não euclidiana onde as proporções observadas competem, o que frequentemente obscurece ou inverte o sinal das associações latentes subjacentes impulsionadas por fatores ambientais compartilhados.

As abordagens existentes falham em abordar essas características conjuntamente:

• Modelos do tipo Dirichlet impõem estruturas de covariância inflexíveis ligadas à média e não podem representar correlações positivas arbitrárias induzidas por drivers latentes compartilhados.
• Modelos log-normais gaussianos oferecem flexibilidade via transformações de razão logarítmica, mas são indefinidos em zeros exatos, exigindo substituições ad hoc que confundem presença com dominância.
• Modelos Gaussianos Projetados (ex: Angular Gaussiano Simétrico Elíptico) preservam a estrutura direcional e lidam com zeros, mas requerem o condicionamento no ortante não negativo. Isso exige a avaliação de uma probabilidade de ortante dependente de parâmetros (a probabilidade de um vetor Gaussiano cair no ortante positivo), o que se torna computacionalmente proibitivo conforme a dimensão $d$ aumenta devido à divergência exponencial da variância nos estimadores padrão.

2. Metodologia: O Framework de Composição por Raio Baseado em Conjunto Ativo (ARC)

O framework ARC propõe um novo paradigma, reformulando uma composição não como um ponto no simplex, mas como a direção observada de um vetor de abundância latente com uma magnitude não observada e um conjunto ativo explicitamente modelado.

Incorporação Geométrica:
A composição $u$ é mapeada para o ortante não negativo do hiperesfera unitária $S^{d-1}_{0,+}$ através de uma transformação de raiz quadrada elemento a elemento $y = \sqrt{u}$. Isso preserva zeros exatos como pontos de fronteira ($u_k=0 \iff y_k=0$) sem exigir substituição ou regularização.

Fatoração do Conjunto Ativo:
O modelo decompõe a verossimilhança em dois processos distintos:

1. O Processo do Conjunto Ativo ($A_i$): Um processo discreto de presença/ausência que governa quais componentes estão presentes ($y_{ik} > 0$). Isso é modelado usando uma especificação de fator probit com covariáveis e fatores latentes para capturar padrões de coocorrência. Zeros estruturais são tratados como um evento modelado, em vez de um incômodo.
2. A Subcomposição Positiva ($y^+_i$): Condicional ao conjunto ativo $A_i$, a subcomposição positiva é modelada pela avaliação de uma densidade Gaussiana latente ao longo dos raios positivos do subspace ativo.

Aumento do Raio Latente:
Uma inovação fundamental é a introdução de um raio latente $r_i > 0$. O vetor ativo latente é definido como $x^+_i = r_i y^+_i$.

• O vetor $x^+_i$ segue uma distribuição multivariada Gaussiana $N(\mu^+_i, V_{A_i A_i})$ no subspace ativo.
• Os dados observados $y^+_i$ são a direção de $x^+_i$.
• Ao tratar $r_i$ como uma variável auxiliar, o modelo avalia a densidade Gaussiana ao longo do raio observado. Esta construção elimina a necessidade da constante de normalização do ortante (a probabilidade de $x^+_i$ cair no ortante positivo) porque o condicionamento no conjunto ativo e a positividade de $r_i$ garantem que o suporte seja naturalmente restrito ao ortante positivo por construção.

Estrutura de Covariância:
Para garantir a escalabilidade em altas dimensões ($d \gg n$), a covariância latente $V$ é parametrizada usando um modelo de fator de baixo posto: $V = \Lambda\Lambda' + D$. Isso reduz a contagem de parâmetros de $O(d^2)$ para $O(dq + d)$ e permite a recuperação de dependência latente arbitrária (positiva ou negativa) na escala de abundância, distinta da escala composicional.

Inferência:
O framework é implementado via um modelo hierárquico Bayesiano usando MCMC. O amostrador utiliza:

• Atualizações de raio latente (Metropolis 1D).
• Aumento de Albert-Chib para o modelo de conjunto ativo probit.
• Atualizações condicionalmente Gaussianas para fatores, coeficientes de regressão e cargas (loadings).
  O custo computacional por iteração escala linearmente com $d$ para um posto de fator fixo e conjuntos ativos esparsos, evitando o custo exponencial da avaliação da probabilidade do ortante.

3. Principais Contribuições

O artigo reivindica quatro contribuições primárias:

1. Proposta de Modelo: O modelo ARC para dados composicionais esparsos de alta dimensão, derivando uma verossimilhança que trata o raio como uma variável latente auxiliar.
2. Tratamento de Zero Estrutural: Uma extensão para zeros estruturais via formulação de conjunto ativo que separa o processo de presença/ausência da subcomposição positiva, permitindo covariáveis e priors distintos para cada um.
3. Inferência Tratável: A introdução de uma covariância de fator de baixo posto combinada com um modelo de conjunto ativo probit, resultando em atualizações condicionalmente Gaussianas que escalam para altas dimensões sem cálculos de probabilidade de ortante.
4. Recuperação Conjunta: Demonstração de que o processo de conjunto ativo e a dependência positiva latente podem ser recuperados conjuntamente em dados esparsos de alta dimensão.

4. Resultados

Um estudo de simulação com $n=350$ e dimensões $d \in \{20, \dots, 1000\}$ sob vários regimes de esparsidade e estruturas de dependência (bloco e não estruturada) rendeu o seguinte:

• Recuperação do Conjunto Ativo: O modelo recuperou consistentemente a estrutura de coocorrência (AUC 0.83–0.86) e taxas de coativação pareada (correlação > 0.97) em todas as dimensões e níveis de esparsidade.
• Recuperação da Dependência Latente: O modelo recuperou com sucesso a matriz de correlação latente verdadeira $R$ (correlação entre correlações estimadas e verdadeiras > 0.93, frequentemente > 0.99).
• Comparação com Baselines: A correlação empírica das composições observadas (o "baseline observado") falhou em capturar a dependência latente, com correlações caindo para tão baixo quanto 0.21 sob alta esparsidade. Isso confirma que o fechamento de simplex obscurece severamente a dependência positiva latente, um sinal que o modelo ARC recupera com sucesso.
• Escalabilidade: O método permaneceu estável e preciso conforme $d$ aumentava, beneficiando-se da "benção da dimensionalidade", onde mais componentes carregam no mesmo fator, refinando a estimativa do subspace compartilhado.

5. Significância e Alegações

O artigo posiciona o framework ARC como um avanço conceitual e computacional para a análise de dados composicionais.

• Reenquadramento Conceitual: Ele redefine uma composição como uma direção observada de um vetor de abundância latente. Essa separação permite que o modelo distinga entre mecanismos que governam a presença (zeros estruturais, dispersão) e mecanismos que governam a dominância (competição, drivers compartilhados).
• Superação de Barreiras Computacionais: Ao evitar a constante de normalização do ortante, o framework torna os modelos Gaussianos projetados viáveis para configurações de alta dimensão onde abordagens anteriores baseadas em truncamento eram computacionalmente intratáveis.
• Utilidade Científica: O framework é particularmente adequado para campos como microbioma e ecologia, onde zeros exatos e respostas positivas compartilhadas são características científicas centrais, não artefatos de dados. Ele recupera a dependência na "escala de abundância" que de outra forma seria mascarada pelo fechamento de soma unitária, fornecendo uma representação mais precisa de processos biológicos e ecológicos.

Os autores observam que, embora a implementação atual utilize um posto de fator fixo, o framework é compatível com seleção de posto adaptativa (ex: processos gama multiplicativos) e pode ser estendido para configurações espaciais, espaço-temporais e de erro de detecção, aproveitando a estrutura Gaussiana condicional dos vetores ativos aumentados.