Resumo Técnico: Um Algoritmo k–NN baseado em Divergência de Jensen-Shannon para Imputação de Valores Faltantes em Dados Composicionais

1. Declaração do Problema

Dados composicionais, definidos como vetores multivariados não negativos que somam uma constante (tipicamente 1), residem em um espaço amostral simplex padrão ($S^{D-1}$). Valores faltantes nesses dados apresentam desafios únicos, pois técnicas de imputação padrão frequentemente falham em respeitar a geometria restritiva do simplex ou exigem transformações log-razão que não conseguem lidar com valores zero.

Métodos existentes, como o algoritmo k–NN proposto por Hron et al. (2010), baseiam-se na distância de Aitchison. No entanto, a distância de Aitchison exige transformações log-razão, tornando-a inaplicável a conjuntos de dados contendo zeros (sejam eles arredondados ou estruturais). Além disso, abordagens tradicionais frequentemente assumem uma estrutura paramétrica específica ou requerem modelos de regressão iterativos que podem ser computacionalmente intensivos. Este artigo aborda a necessidade de um método de imputação flexível e não paramétrico que:

1. Opere diretamente no simplex sem transformações log-razão.
2. Acomode naturalmente valores zero.
3. Ofereça eficiência computacional e flexibilidade no tratamento de padrões de valores faltantes.

2. Metodologia

A solução proposta é um novo algoritmo JSD k–NN, estendido com uma generalização da média de Fréchet e um mecanismo adaptativo.

2.1 Métrica de Distância: Divergência de Jensen-Shannon (JSD)

Em vez da distância de Aitchison, o algoritmo utiliza a divergência de Jensen-Shannon (JSD) para medir distâncias entre vetores composicionais.

• Definição: Para duas composições $x$ e $y$, $JSD(x, y) = \sum_{j=1}^D \left( x_j \log \frac{2x_j}{x_j+y_j} + y_j \log \frac{2y_j}{x_j+y_j} \right)$.
• Vantagens: Diferentemente da distância de Aitchison, a JSD trata valores zero naturalmente (já que $0 \log 0 = 0$), eliminando a necessidade de estratégias de substituição de zeros. É uma métrica (a raiz quadrada satisfaz a desigualdade triangular) e é limitada.

2.2 O Algoritmo JSD k–NN

O algoritmo central segue um procedimento não paramétrico de seis etapas:

1. Seleção: Escolha o número de vizinhos mais próximos, $k$.
2. Separação: Divida os dados em vetores incompletos ($X_M$) e vetores completos ($X_O$).
3. Normalização: Para um vetor incompleto, normalize os componentes observados para somar 1. Da mesma forma, normalize os componentes correspondentes nos vetores completos.
4. Cálculo de Distância: Calcule a JSD entre os componentes observados normalizados do vetor incompleto e todos os vetores completos.
5. Seleção de Vizinhos: Identifique os $k$ vetores completos com as menores distâncias JSD.
6. Imputação: Calcule a média dos $k$ vizinhos mais próximos. Os componentes faltantes são estimados tomando a média aritmética dos componentes correspondentes nos $k$ vizinhos, normalizando-os e escalando-os pela soma dos componentes observados no vetor incompleto original.

2.3 Extensão 1: JSD $\alpha$–k–NN (Média de Fréchet)

Para aumentar a flexibilidade, a média aritmética usada na Etapa 5 é substituída pela média amostral de Fréchet definida por Tsagris et al. (2011):
$$\hat{\mu}_\alpha(x) = C \left\{ \left( \sum_{i=1}^n \frac{x_{ij}^\alpha}{\sum_{k=1}^D x_{kj}^\alpha} \right)^{1/\alpha} \right\}_{j=1,\dots,D}$$
onde $\alpha$ é um hiperparâmetro ajustável.

• Propriedades: À medida que $\alpha \to 0$, converge para a média geométrica; em $\alpha = 1$, é a média aritmética. Isso permite que o algoritmo se adapte à distribuição dos dados sem transformações log-razão.

2.4 Extensão 2: JSD $\alpha$–k–NN Adaptativo

Reconhecendo que os padrões de valores faltantes podem variar (por exemplo, a ausência relacionada a magnitudes específicas de componentes), os autores propõem uma abordagem adaptativa onde os hiperparâmetros ($\alpha$ e $k$) são ajustados separadamente para cada padrão de ausência distinto observado nos dados, em vez de usar um único par global.

2.5 Ajuste de Hiperparâmetros

Os valores ótimos para $k$ e $\alpha$ são determinados por meio de um protocolo de validação cruzada repetida leave-N-out. A métrica de desempenho é a distância (distância de Aitchison se não houver zeros; JSD se houver zeros) entre os valores verdadeiros e os valores imputados no conjunto de teste.

3. Contribuições Principais

1. Imputação Tolerante a Zeros: O método é a primeira abordagem k–NN para dados composicionais que não requer transformações log-razão, tratando assim tanto zeros arredondados quanto estruturais de forma nativa.
2. Flexibilidade Não Paramétrica: Ao utilizar JSD e a média de Fréchet, o método evita suposições paramétricas restritivas sobre a estrutura dos dados.
3. Eficiência Computacional: O algoritmo é significativamente mais rápido que métodos concorrentes baseados em regressão iterativa (especificamente aqueles no pacote robCompositions).
4. Estrutura Adaptativa: A introdução de um mecanismo adaptativo permite que os hiperparâmetros se ajustem a padrões específicos de ausência, embora o artigo note que isso adiciona complexidade computacional.

4. Resultados dos Estudos de Simulação

Os autores avaliaram os algoritmos usando quatro conjuntos de dados do mundo real: Vinhos (sem zeros), Hidroquímico (sem zeros), Ácidos Graxos de Presas (contém zeros e classes de espécies) e FADN (dados agrícolas com zeros e cenários de desagregação/agregação).

• Precisão (Sem Zeros): Nos conjuntos de dados Vinhos e Hidroquímico, o JSD $\alpha$–k–NN (com $\alpha$ ótimo) superou o JSD k–NN padrão em 12% e 2%, respectivamente, medidos pela distância de Aitchison. Ambos os métodos propostos superaram os algoritmos concorrentes de Hron et al. (2010) (rob k–NN, lm, ltsReg).
• Precisão (Com Zeros): No conjunto de dados Ácidos Graxos de Presas, o JSD k–NN melhorou o desempenho em 22% sobre o robust k–NN (Hron et al., 2010) usando distância Euclidiana. O JSD $\alpha$–k–NN forneceu uma melhoria adicional de 3,5%. A versão adaptativa não gerou ganhos adicionais neste caso específico.
• Cenário de Desagregação: No conjunto de dados FADN (simulando a desagregação de dados agrícolas agregados), o JSD k–NN superou o robust k–NN em 15%. As extensões $\alpha$ e adaptativa não mostraram melhoria adicional aqui.
• Custo Computacional: O JSD k–NN foi significativamente mais rápido que o robust k–NN. Os fatores de aceleração variaram de aproximadamente 6x a 25x, dependendo do tamanho da amostra e da dimensionalidade. A aceleração foi mais pronunciada em dimensões mais altas e tamanhos de amostra menores.

5. Significado e Alegações

O artigo afirma que o proposto algoritmo JSD k–NN oferece uma alternativa robusta, precisa e computacionalmente eficiente para imputar valores faltantes em dados composicionais. Seu significado principal reside na capacidade de lidar com valores zero sem modificação, uma limitação crítica dos métodos existentes baseados em log-razão.

Os autores concluem modestamente que, embora a extensão JSD $\alpha$–k–NN adaptativa ofereça uma melhoria teórica ao adaptar parâmetros aos padrões de ausência, ela não sempre melhora substancialmente o desempenho na prática. Eles sugerem que a complexidade adicional pode não valer a pena em todos os casos, particularmente quando os padrões de ausência são esparsos. No entanto, o núcleo JSD k–NN e a extensão da média de Fréchet (JSD $\alpha$–k–NN) demonstram consistentemente precisão e eficiência superiores em comparação com os métodos mais avançados atuais.

O trabalho é posicionado como uma ferramenta prática para campos como ecologia, agricultura e estatísticas oficiais, onde dados composicionais com zeros e valores faltantes são prevalentes. Os autores reconhecem que, embora o método assuma Ausência Aleatória (MAR), ele não foi avaliado sob cenários de Ausência Não Aleatória (MNAR), que são comuns em estatísticas oficiais.