Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

Resumo Técnico: Análise de Características Quadráticas Supervisionada (SQFA)

Definição do Problema
A redução de dimensionalidade supervisionada visa mapear dados rotulados de alta dimensão para um espaço de características de menor dimensão que maximize a separação de classes. Embora existam métodos não lineares, os métodos lineares (aprendendo filtros $F$ tais que $z = F^T x$) permanecem essenciais por sua simplicidade, interpretabilidade e eficiência de dados. Abordagens lineares tradicionais, como a Análise Discriminante Linear (LDA), tipicamente maximizam medidas específicas de dissimilaridade estatística entre distribuições condicionais de classe, como a distância de Mahalanobis ao quadrado, a distância de Bhattacharyya ou a divergência de Kullback-Leibler (KL). No entanto, essas medidas frequentemente dependem de suposições específicas (por exemplo, homocedasticidade para o LDA) ou podem não capturar totalmente a estrutura geométrica das distribuições de probabilidade.

Metodologia
Os autores introduzem a Análise de Características Quadráticas Supervisionada (SQFA), um método de redução de dimensionalidade supervisionada que aprende características lineares ao maximizar a distância de Fisher-Rao entre distribuições condicionais de classe sob suposições gaussianas.

• Estrutura de Geometria da Informação: A SQFA trata distribuições de probabilidade como pontos em uma variedade estatística (manifold). Ela utiliza a métrica de informação de Fisher para definir a distância geodésica entre distribuições, conhecida como distância de Fisher-Rao. Esta distância é concebida como a discriminabilidade local acumulada ao longo da geodésica que conecta duas distribuições.
• Objetivo de Otimização: O objetivo é encontrar filtros $F$ que maximizem a soma das distâncias de Fisher-Rao entre pares de distribuições condicionais de classe no espaço projetado.
• Lidando com Restrições Computacionais: Como não existem expressões de forma fechada para a distância de Fisher-Rao entre quaisquer gaussianas multivariadas, a SQFA utiliza duas estratégias:
  1. Caso de Média Zero (smSQFA): Para gaussianas de média zero, a variedade é equivalente à variedade de matrizes Simétricas Positivas Definidas (SPD). A distância de Fisher-Rao é proporcional à distância invariante por afinidade, que possui uma solução de forma fechada baseada em autovalores generalizados.
  2. Caso Geral (SQFA): Para gaussianas arbitrárias, os autores utilizam o limite de Calvo-Oller, um limite inferior de forma fechada derivado pela incorporação dos parâmetros da distribuição (média e covariância) em uma matriz SPD de dimensão $m+1$. Este limite serve como um substituto prático para a distância de Fisher-Rao.
• Variantes: O framework de otimização é flexível, permitindo a maximização de outras medidas de dissimilaridade, incluindo a distância de Hellinger (SQFA-H), a distância de Bhattacharyya (SQFA-B), a divergência de Jeffreys (SQFA-J) e a distância de Wasserstein (SQFA-W).
• Implementação: Os filtros são otimizados usando L-BFGS. O método inclui regularização para evitar covariâncias de posto deficiente e lida com a não convexidade do objetivo usando inicialização aleatória (com resultados mostrando robustez entre sementes).

Principais Contribuições

1. Objetivo Inovador: A SQFA é o primeiro método a utilizar explicitamente a distância de Fisher-Rao como um objetivo para redução de dimensionalidade supervisionada.
2. Substituto Prático: O artigo demonstra que o limite de Calvo-Oller é um substituto altamente eficaz e prático para a distância de Fisher-Rao em conjuntos de dados do mundo real, permitindo a otimização deste objetivo geométrico sem integração numérica.
3. Desempenho Superior da Distância de Hellinger: Um achado significativo é que a variante que maximiza a distância de Hellinger (SQFA-H) alcança consistentemente a maior acurácia de classificação em diversos conjuntos de dados, superando variantes que maximizam a distância de Fisher-Rao, a distância de Bhattacharyya e outros métodos de estado da arte.
4. Interpretabilidade: As características aprendidas são interpretáveis e, no contexto de estimativa de velocidade naturalista, assemelham-se a campos receptivos sensíveis ao movimento encontrados em sistemas visuais biológicos.

Resultos
Os autores avaliaram a SQFA e suas variantes em quatro conjuntos de dados: SVHN (Street View House Numbers), MNIST, um conjunto de dados de estimativa de velocidade naturalista e registros de disparos neurais do córtex visual de macacos.

• Classificação de Dígitos (SVHN & MNIST): As variantes da SQFA geralmente superaram PCA, LDA, SPCA, LFDA, WDA e LMNN.
  • No SVHN (onde as médias das classes são menos informativas que as covariâncias), a SQFA e a SQFA-H alcançaram a maior acurácia de QDA e kNN.
  • No MNIST (onde as médias das classes são informativas), a SQFA-H alcançou consistentemente a maior acurácia em todos os números de filtros, seguida de perto pela SQFA-B. A SQFA (Fisher-Rao) foi competitiva, mas geralmente ficou abaixo da SQFA-H.
• Estimativa de Velocidade: Em uma tarefa envolvendo estimativa de velocidade de vídeo naturalista, a smSQFA (que maximiza a distância de Fisher-Rao exata para gaussianas de média zero) e a SQFA-H tiveram um desempenho quase tão bom quanto o AMA-Gauss, um método especificamente projetado para otimizar o desempenho de decodificação Bayesiana. Os filtros aprendidos pelas variantes da SQFA foram visualmente semelhantes a neurônios sensíveis ao movimento no córtex visual.
• Dados Neurais: Em registros neurais, a SQFA-H novamente alcançou a maior acurácia de classificação, demonstrando a capacidade do método de explorar covariâncias dependentes do estímulo mesmo em dados ruidosos e não gaussianos.
• Análise Geométrica: Os autores verificaram que a maximização do limite de Calvo-Oller de fato leva às maiores distâncias de Fisher-Rao no espaço de características em comparação com outros objetivos. Além disso, os limites de Calvo-Oller por pares estavam altamente correlacionados com as verdadeiras distâncias de Fisher-Rao.

Significância e Alegações
O artigo afirma que a geometria da informação fornece um framework poderoso e subutilizado para redução de dimensionalidade supervisionada. Especificamente:

• Geométrico vs. Teórico da Informação: Maximizar a distância de Fisher-Rao (uma medida geométrica) produz características competitivas com aquelas que maximizam medidas da teoria da informação (como a de Bhattacharyya) que estão diretamente ligadas ao erro de Bayes.
• A Vantagem de Hellinger: Os autores sugerem que o desempenho superior da SQFA-H pode advir de como a distância de Hellinger pondera os pares de classes. Ao contrário da distância de Bhattacharyya, que cresce rapidamente para classes bem separadas (potencialmente superestimando pares fáceis), a distância de Hellinger, que é limitada, foca o aprendizado na separação de classes que estão próximas, o que é frequentemente mais crítico para a discriminação multiclasse.
• Robustez: O método é computacionalmente eficiente, escala bem para altas dimensões e produz características robustas para diferentes classificadores (QDA e kNN).
• Direções Futuras: Os autores observam que, embora a SQFA assuma a gaussianidade, o limite de Calvo-Oller se estende a outras distribuições elípticas (ex: Student-t, Cauchy), oferecendo um caminho para trabalhos futuros sobre dados não gaussianos. Eles também identificam a extensão do framework para o aprendizado de características não lineares como uma direção futura.

O artigo conclui que a SQFA, particularmente a variante SQFA-H, representa uma abordagem de estado da arte para aprender características lineares que maximizam a acurácia de classificação, validando a utilidade da geometria da informação em aprendizado de máquina.