MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation

Este artigo apresenta um quadro unificado para a fatoração de matrizes não negativas (NMF) tradicional e convexa, utilizando funções de custo baseadas nas distribuições Tweedie e Binomial Negativa, derivando regras de atualização multiplicativa via algoritmos MM e validando empiricamente a superioridade desses modelos em dados com sobredispersão.

O essencial

Imagine que você tem uma pilha gigante de documentos confusos: alguns são sobre futebol, outros sobre política, e alguns são sobre religião. Ou talvez você tenha dados genéticos de pacientes com câncer, cheios de mutações aleatórias. O seu objetivo é organizar essa bagunça, encontrar os "temas" ou "padrões" escondidos e entender o que está realmente acontecendo.

É aqui que entra a Fatoração de Matriz Não Negativa (NMF). Pense na NMF como um detetive de padrões ou um chef de cozinha que tenta descobrir a receita original de um prato complexo. Ela pega o "prato final" (seus dados bagunçados) e tenta dividi-lo em ingredientes básicos (os temas ou características) e a quantidade de cada ingrediente usada.

No entanto, o problema é que os "ingredientes" (seus dados) nem sempre se comportam de forma previsível. Às vezes, eles são como bolas de gude (previsíveis), e às vezes são como bolhas de sabão que estouram de formas imprevisíveis (dados com muita variação ou "ruído").

O Problema: A Receita Errada

A maioria dos métodos tradicionais de NMF usa uma "receita" (modelo estatístico) que assume que os dados se comportam de uma maneira simples e padrão (como uma distribuição Normal ou Poisson).

• A analogia: É como tentar assar um bolo de chocolate usando a receita de um pão de queijo. Se os seus dados forem "especiais" (como dados de contagem de mutações no câncer ou palavras em textos, que muitas vezes têm muitos zeros e alguns números gigantes), a receita padrão falha. O bolo fica torto, e o detetive não consegue encontrar os padrões corretos.

A Solução: Um Kit de Ferramentas Flexível

Os autores deste paper criaram um kit de ferramentas unificado (chamado de algoritmos MM) que permite usar a "receita" certa para cada tipo de dado. Eles introduziram duas novas "receitas" poderosas:

1. Distribuição Tweedie: Uma receita super flexível que pode se adaptar a diferentes tipos de "bagunça" nos dados.
2. Distribuição Binomial Negativa: Uma receita especializada para dados que têm muita variação (quando a média não explica tudo o que acontece).

Além disso, eles aplicaram essas receitas a dois tipos de "detetives":

• NMF Tradicional: O detetive clássico.
• NMF Convexa: Um detetive mais inteligente e restrito.

O Detetive "Convexo": O Filtro Inteligente

Aqui está uma metáfora interessante para entender a NMF Convexa:
Imagine que você está tentando descrever um grupo de pessoas.

• A NMF Tradicional pode inventar "personagens" que nunca existiram na vida real para explicar os dados (como inventar um "herói" que é metade do João e metade da Maria, mas que não tem base em ninguém real).
• A NMF Convexa é mais rigorosa. Ela diz: "Não vou inventar personagens novos. Vou criar meus temas somente combinando as pessoas que já estão na sala".
• Por que isso é bom? Em dados muito esparsos (como textos onde a maioria das palavras não aparece na maioria dos documentos), a NMF Convexa age como um filtro anti-ruído. Ela evita que o modelo "alucine" padrões que não existem, tornando os resultados mais robustos e interpretáveis, especialmente quando há muitos temas para descobrir.

O Que Eles Descobriram?

Os autores testaram suas novas ferramentas em dois cenários reais:

1. O Caso do Câncer (Dados Genéticos):

   • Eles analisaram mutações em tumores de fígado.
   • Resultado: As receitas tradicionais (Normal/Poisson) falharam miseravelmente, ignorando a variabilidade natural dos dados. As novas receitas (Tweedie e Binomial Negativa) foram perfeitas, conseguindo identificar os "assinaturas" de mutação (os culpados do câncer) com muita precisão. A NMF Convexa também funcionou muito bem aqui.

2. O Caso das Notícias (Texto):

   • Eles analisaram posts de grupos de discussão sobre esportes, religião e política.
   • Resultado: Como os textos são cheios de palavras que não aparecem (dados esparsos), a NMF Convexa brilhou. Ela conseguiu separar os temas com menos "ingredientes" (menos parâmetros) do que a NMF tradicional, evitando que o modelo se confundisse com o ruído. Curiosamente, para textos, a receita "Tweedie" (que ficou muito parecida com a Poisson) foi a melhor.

A Conclusão Simples

Este trabalho nos ensina que não existe uma ferramenta única para todos os trabalhos.

• Se você tem dados de contagem (como número de mutações ou palavras), não use a receita padrão. Use a Binomial Negativa ou a Tweedie.
• Se você tem muitos dados esparsos e quer evitar "alucinações" no modelo, a NMF Convexa é uma escolha mais segura e eficiente do que a tradicional.

Os autores disponibilizaram todo esse kit de ferramentas em um pacote de software gratuito (em R), para que qualquer pesquisador possa usar essas "receitas" melhores e encontrar os padrões ocultos em seus próprios dados com muito mais clareza.

Em resumo: Eles deram ao mundo um "kit de ferramentas de detetive" mais inteligente, capaz de escolher a lente certa para olhar através da bagunça dos dados, seja ela genética ou textual.

Resumo técnico

Resumo Técnico: Algoritmos MM para NMF Tradicional e Convexa com Funções de Custo Tweedie e Binomial Negativa

1. Problema e Motivação

A Fatoração de Matriz Não-Negativa (NMF) é uma técnica fundamental de aprendizado não supervisionado para extração de características e redução de dimensionalidade. No entanto, as formulações padrão da NMF geralmente assumem ruído Gaussiano (erro quadrático mínimo) ou Poisson (divergência de Kullback-Leibler). Essas suposições são frequentemente inadequadas para dados reais que exibem:

• Sobredispersão: Onde a variância excede a média (comum em dados de contagem, como mutações genéticas ou contagens de palavras).
• Relações Complexas Média-Variância: Onde a variância não é constante nem linearmente proporcional à média.
• Caudas Pesadas: Comuns em processamento de imagens e mineração de texto.

A escolha incorreta do modelo de ruído pode distorcer a fatoração, levando a uma recuperação de características imprecisa. Além disso, a NMF Convexa (uma variante onde as características são combinações lineares dos dados originais, equivalente a um autoencoder linear raso) carecia de atualizações multiplicativas robustas para distribuições além da Gaussiana e Poisson, especialmente para dados com sobredispersão.

2. Metodologia

Os autores propõem um framework unificado para NMF Tradicional e NMF Convexa, derivando regras de atualização multiplicativa baseadas no algoritmo Majorize-Minimisation (MM).

• Distribuições Consideradas:
  • Tweedie: Uma família flexível que engloba a Normal ($p=0$), Poisson ($p=1$), Gamma ($p=2$) e distribuições de estabilidade positiva. A relação variância-média é dada por $Var(X) = \sigma^2 \mu^p$.
  • Binomial Negativa (NB): Específica para dados de contagem com sobredispersão, onde $Var(X) = \mu + \mu^2/\alpha$.
• Derivação de Atualizações:
  • Utilizando o algoritmo MM, os autores derivam atualizações multiplicativas de forma fechada para todas as combinações de modelos (Tradicional/Convexa) e distribuições (Tweedie/NB).
  • Contribuição Principal na Derivação: Novas regras de atualização foram derivadas especificamente para a NMF Convexa com custo Binomial Negativa e para a NMF Convexa com custo Poisson, preenchendo uma lacuna na literatura.
  • Para a NMF Convexa, o modelo é formulado como $V^T \approx V^T E D$, onde $E$ é a matriz de codificação e $D$ a de decodificação.
• Implementação Computacional:
  • Foi desenvolvido o pacote R nmfgenr, contendo implementações eficientes em Rcpp para todos os modelos.
  • Os autores analisam a complexidade computacional, notando que a NMF Convexa tem complexidade $O(MN^2K)$ por iteração (devido a multiplicações de matrizes envolvendo $V^T$), enquanto a NMF Tradicional é $O(MNK)$.
  • Métodos de estimativa de parâmetros (como o expoente de potência $p$ para Tweedie e o parâmetro de dispersão $\alpha$ para NB) são realizados via perfil de verossimilhança.

3. Contribuições Chave

1. Unificação Teórica: Estabelecimento de um framework unificado que conecta NMF Tradicional e Convexa sob uma classe ampla de suposições distribucionais, destacando a relação entre a divergência $\beta$ e a distribuição Tweedie.
2. Novos Algoritmos: Derivação de atualizações multiplicativas para NMF Convexa com custos Poisson e Binomial Negativa, que não estavam disponíveis anteriormente.
3. Software Acessível: Disponibilização do pacote nmfgenr, permitindo que pesquisadores apliquem facilmente esses modelos a dados reais, incluindo as primeiras implementações de vários modelos de NMF Convexa.
4. Guia de Seleção de Modelo: Demonstração empírica de como a escolha do modelo de ruído impacta criticamente a qualidade da fatoração e a recuperação de características.

4. Resultados Empíricos

Os métodos foram avaliados em dois conjuntos de dados distintos:

• Dados de Contagem de Mutações (Câncer de Fígado):

  • Contexto: 260 pacientes, 96 tipos de mutações.
  • Achados: Dados de mutações exibem forte sobredispersão. Modelos Gaussianos e Poisson apresentaram ajuste ruim (BIC alto e resíduos sistemáticos).
  • Melhor Desempenho: O modelo NMF Tradicional com Binomial Negativa ($NMF/T/NB$) e o NMF Convexo com Binomial Negativa forneceram o melhor ajuste.
  • Recuperação de Assinaturas: As assinaturas mutacionais extraídas pelo modelo Binomial Negativa tiveram alta similaridade cosseno (>0.8) com as assinaturas COSMIC de referência, recuperando perfeitamente a assinatura SBS12 (associada ao câncer de fígado).
  • Observação: A NMF Tradicional teve valores de BIC ligeiramente menores que a Convexa neste conjunto de dados denso em características, mas a NMF Convexa ainda foi robusta.

• Modelagem de Tópicos (Newsgroups):

  • Contexto: 500 documentos, 6354 palavras (dados altamente esparsos).
  • Achados: Devido à alta esparsidade, a NMF Convexa atuou como um regularizador eficaz.
  • Melhor Desempenho: O modelo NMF Convexa com Tweedie ($NMF/C/TW$) com $p \approx 1.02$ (muito próximo do Poisson) obteve o menor BIC.
  • Eficiência: A NMF Convexa alcançou um ajuste de verossimilhança comparável à NMF Tradicional, mas utilizando muito menos parâmetros livres (devido à restrição de convexidade), demonstrando superioridade em cenários de alta dimensionalidade e esparsidade.
  • Interpretabilidade: Os tópicos extraídos alinharam-se perfeitamente com os rótulos conhecidos dos documentos (esportes, religião, política).

5. Significado e Conclusão

O trabalho demonstra que tratar a NMF como um modelo estatístico (escolhendo a distribuição de ruído correta baseada na relação média-variância dos dados) é superior a tratá-la apenas como um procedimento algorítmico.

• Flexibilidade: A família Tweedie e a Binomial Negativa oferecem flexibilidade crucial para dados com sobredispersão, superando as limitações dos modelos Gaussiano e Poisson.
• NMF Convexa como Regularizador: Em dados esparsos e de alta dimensão, a NMF Convexa provou ser uma alternativa eficiente e robusta à NMF Tradicional, atuando como uma forma de regularização que previne o overfitting sem sacrificar a capacidade explicativa.
• Impacto Prático: A disponibilidade de implementações computacionais eficientes (nmfgenr) facilita a aplicação desses modelos avançados em genômica, processamento de linguagem natural e outras áreas onde a estrutura estatística dos dados é complexa.

Em suma, o artigo fornece tanto a teoria matemática necessária quanto ferramentas práticas para que pesquisadores selecionem e apliquem o modelo de fatoração de matriz não-negativa mais adequado às propriedades estatísticas intrínsecas de seus dados.