📊 statistics

SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness

O pacote SSLfmm introduz uma estrutura de mistura finita gaussiana baseada em verossimilhança para aprendizado semissupervisionado que modela conjuntamente as distribuições de classe e os mecanismos de ausência de rótulos (incluindo cenários MCAR, MAR e mistos) para melhorar o desempenho da classificação quando a própria disponibilidade de rótulos contém sinais informativos.

Autores originais: Geoffrey J. McLachlan, Jinran Wu

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Geoffrey J. McLachlan, Jinran Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados, os pesquisadores frequentemente enfrentam uma lacuna frustrante entre o que sabem e o que conseguem medir. Imagine um estudo médico onde médicos registraram os sintomas de cada paciente, mas só conseguiram confirmar o diagnóstico final para uma parte deles. O restante permanece um mistério, não porque os dados foram perdidos, mas porque o processo de confirmação era caro demais, lento demais ou simplesmente impossível para certos casos. Este é o domínio do aprendizado semissupervisionado, um campo dedicado a ensinar computadores a reconhecer padrões usando uma mistura de respostas conhecidas e desconhecidas. Tradicionalmente, os estatísticos trataram essas respostas ausentes como acidentes aleatórios, assumindo que o motivo de um rótulo estar faltando não tem nada a ver com os próprios dados. No entanto, em muitas situações do mundo real, o motivo de um rótulo estar faltando é, na verdade, uma pista. Um paciente pode ser mais difícil de diagnosticar com precisão porque seus sintomas são confusos, ou um respondente de uma pesquisa pode pular uma pergunta porque a resposta é desconfortável. Se o computador ignorar essa conexão, ele perde uma peça vital do quebra-cabeça.

Uma equipe de pesquisadores da Universidade de Queensland desenvolveu uma nova ferramenta para ajudar os computadores a resolver este problema específico. Eles criaram um pacote de software chamado SSLfmm, que permite que as máquinas aprendam com dados onde os rótulos estão faltando de duas maneiras distintas: ou completamente ao acaso, ou porque os próprios dados tornaram o rótulo difícil de obter. O software é construído sobre uma estrutura que trata o rótulo ausente não apenas como um espaço em branco, mas como o resultado de um processo específico. Ao modelar esse processo junto com os dados, o sistema pode distinguir entre um rótulo ausente que aconteceu por acaso e um que aconteceu porque o ponto de dado era ambíguo ou difícil de classificar. Essa abordagem permite que o computador use o próprio fato de um rótulo estar faltando para melhorar sua compreensão dos grupos que está tentando identificar.

Os pesquisadores testaram seu novo software criando um mundo simulado de dados onde sabiam exatamente como os rótulos estavam faltando. Eles geraram mil pontos de dados representando dois grupos sobrepostos, depois removeram deliberadamente os rótulos de cerca de trinta e dois por cento deles. Eles dividiram esses rótulos ausentes em duas categorias: alguns foram removidos aleatoriamente, enquanto outros foram removidos especificamente porque os pontos de dados eram difíceis de distinguir uns dos outros. Eles então pediram ao seu software para descobrir os grupos usando duas estratégias diferentes. Na primeira estratégia, o software foi informado exatamente quais rótulos ausentes eram aleatórios e quais eram difíceis. Na segunda estratégia, o software foi apenas informado que um rótulo estava faltando, sem saber o motivo. Os resultados mostraram que, mesmo sem saber a razão específica dos rótulos ausentes, o software ainda conseguia aprender de forma eficaz. Quando testada nos pontos de dados cujos rótulos estavam ocultos, a versão que conhecia as razões alcançou uma precisão de cerca de oitenta e um por cento, enquanto a versão que teve que adivinhar as razões alcançou uma precisão quase idêntica de cerca de oitenta e um por cento. Isso demonstrou que a lógica interna do software para lidar com informações ausentes era robusta, mesmo quando a origem da ausência era oculta.

Para ver como isso funciona em um cenário mais realista, a equipe aplicou o software a um conjunto de dados referente a transfusões de sangue. Eles pegaram um registro completo de setecentos e quarenta e oito doadores e removeram artificialmente os rótulos de alguns deles. Mantiveram os rótulos para doadores que eram fáceis de classificar, removeram os rótulos para uma seleção aleatória de outros e removeram os rótulos para um terceiro grupo que foi escolhido especificamente por ser difícil de classificar. Isso criou um cenário onde os rótulos ausentes eram uma mistura de eventos aleatórios e casos difíceis. Os pesquisadores então rodaram o software sob três suposições diferentes: que todos os rótulos ausentes eram aleatórios, que todos eram devidos à dificuldade e que eram uma mistura de ambos. O software que assumiu uma mistura de ambas as causas teve o melhor desempenho. Ele identificou corretamente os grupos de doadores de sangue com uma precisão de cerca de sessenta e um por cento para os casos difíceis, superando os modelos que assumiam apenas um tipo de ausência. O software também estimou que cerca de dez por cento dos rótulos ausentes eram aleatórios, um número que correspondeu de perto à configuração real do experimento.

Além de apenas obter a resposta correta, o software oferece uma maneira de verificar seu próprio trabalho. Ele calcula uma medida de incerteza para cada previsão, essencialmente perguntando ao computador o quão confiante ele se sente sobre cada classificação. Quando os pesquisadores observaram essas pontuações de confiança, encontraram um padrão claro: os pontos de dados que originalmente eram difíceis de rotular tinham pontuações de incerteza muito mais altas do que os que eram fáceis ou aleatórios. Isso confirmou que o software aprendeu com sucesso a associar os rótulos ausentes com a dificuldade dos dados. A ferramenta está agora disponível como um pacote gratuito para a linguagem de programação R, um ambiente padrão para computação estatística. Ela permite que pesquisadores ajustem modelos, façam previsões e executem diagnósticos sem precisar escrever códigos complexos do zero. O pacote inclui funções para simular dados, verificar o quão bem o modelo está funcionando e visualizar a relação entre os rótulos ausentes e a incerteza de classificação.

A significância deste trabalho reside em sua capacidade de lidar com a realidade desordenada da coleta de dados. Em muitos campos, da medicina às ciências sociais, o processo de obter um rótulo raramente é aleatório. Ao reconhecer que a ausência de dados carrega informação, o pacote SSLfmm oferece uma maneira mais honesta e precisa de aprender com dados incompletos. Ele não afirma resolver todos os problemas com informações ausentes, nem sugere que todos os dados ausentes sejam informativos. Em vez disso, fornece uma estrutura flexível onde os pesquisadores podem testar diferentes suposições sobre o porquê de um dado estar faltando e ver qual suposição leva aos melhores resultados. Os autores enfatizam que, embora o software tenha desempenhado bem em seus testes, os números específicos dependem dos dados sendo analisados. O verdadeiro valor da ferramenta é que ela dá aos cientistas uma maneira de perguntar: "O fato de eu não saber esta resposta está me dizendo algo sobre a própria resposta?" e obter uma resposta baseada em dados.

Resumo Técnico de "SSLfmm: Um Pacote R para Aprendizado Semissupervisionado com Ausência Mista"

Formulação do Problema
O artigo aborda cenários de aprendizado semissupervisionado (SSL) onde os vetores de características são totalmente observados para todos os dados de treinamento, mas os rótulos das classes estão disponíveis apenas para um subconjunto. Um aspecto crítico, frequentemente não modelado neste cenário, é o mecanismo que rege a disponibilidade dos rótulos. Os procedimentos padrão de SSL tipicamente tratam rótulos ausentes como classes latentes desconhecidas, sem modelar o porquê de estarem ausentes. No entanto, os autores argumentam que o próprio processo de ausência pode conter informações relevantes para a classificação. Especificamente, o artigo distingue entre:

Ausência Completamente Aleatória (MCAR): A disponibilidade do rótulo não tem relação com as características observadas ou com a classe.
Ausência ao Acaso (MAR): A probabilidade de um rótulo estar ausente depende de características observadas (especificamente, incerteza de classificação/entropia), mas não do rótulo ausente em si.
Ausência Mista: Um cenário onde um rótulo ausente surge de um mecanismo MCAR ou de um mecanismo MAR baseado em entropia. Crucialmente, a origem da ausência (MCAR vs. MAR) pode ser observada (registrada nos dados) ou latente (não observada, com apenas o indicador agregado de ausência disponível).

Metodologia
Os autores propõem uma estrutura baseada em verossimilhança utilizando modelos de mistura gaussiana finita, onde a distribuição de classes e o processo de ausência de rótulos são modelados conjuntamente. A formulação estatística central envolve:

Modelo de Classe: Cada classe $i$ está associada a uma densidade gaussiana multivariada $f_i(y; \omega_i)$ com probabilidades a priori $\pi_i$ .
Modelo de Ausência:
- Para o mecanismo MAR baseado em entropia, a probabilidade de um rótulo estar ausente é modelada via uma função logística da entropia de Shannon $e(y; \theta)$ da observação: $q_j = \text{logit}^{-1}(\xi_0 + \xi_1 \log e(y_j; \theta))$ , onde $\xi_1 > 0$ .
- Para o mecanismo misto, a probabilidade de um rótulo estar ausente é uma mistura da probabilidade MCAR $\alpha$ e da probabilidade MAR $(1-\alpha)q_j$ .
Estimação (Algoritmo ECM): Os parâmetros são estimados usando um algoritmo de Expectativa-Condicional de Maximização (ECM).
- E-step: Calcula as probabilidades a posteriori das classes e substitui os indicadores de classe ausentes por suas expectativas condicionais.
- C-steps:
  - Se a origem da ausência for observada, o algoritmo atualiza a probabilidade MCAR $\alpha$ e os parâmetros MAR $\xi$ separadamente com base nos indicadores de origem conhecidos, e então atualiza os parâmetros de classe $\theta$ .
  - Se a origem da ausência for latente, o algoritmo trata o mecanismo específico (MCAR vs. MAR) para cada rótulo ausente como uma variável latente. Ele calcula a probabilidade a posteriori de um rótulo ausente ter surgido do canal MCAR versus o canal MAR, e então atualiza $\alpha$ , $\xi$ e $\theta$ iterativamente.

O Pacote R SSLfmm
O artigo apresenta o pacote R SSLfmm, que implementa esses métodos. Principais recursos incluem:

Interface Unificada: Uma única função fit_sslfmm() lida com análises de casos completos, MCAR, MAR baseado em entropia e análises mistas MCAR/MAR.
Tratamento de Origem: Suporta tanto indicator = "observed" (onde o usuário fornece o indicador de origem da ausência) quanto indicator = "latent" (onde a origem é inferida).
Funcionalidade: Inclui ferramentas para ajuste de modelos, predição (classes, posteriors, entropia), avaliação de desempenho (acurácia, F1, log loss, Brier score), simulação de dados com ausência mista e diagnósticos baseados em entropia.
Robustez: Utiliza múltiplos valores iniciais e otimização numérica limitada para lidar com a não convexidade da verossimilhança, particularmente para modelos de origem latente.

Resultados e Ilustrações
O artigo valida o pacote através de duas ilustrações primárias:

Simulação Reprodutível: Uma simulação com 1.000 observações e 31,9% de rótulos ausentes (gerados via ausência mista MCAR/MAR) compara os ajustes de origem observada e de origem latente.
- Ambas as formulações alcançaram desempenho de classificação semelhante no subconjunto de rótulos ausentes (Acurácia $\approx$ 0,806–0,809).
- O modelo de origem latente recuperou com sucesso os parâmetros geradores ( $\alpha$ , $\xi_0$ , $\xi_1$ ) com precisão razoável, embora as estimativas tenham sido ligeiramente mais variáveis do que o ajuste de origem observada.
- Diagnósticos de entropia confirmaram que as observações geradas sob o mecanismo MAR exibiram maior entropia de classificação, consistente com o design do modelo.
Aplicação Semi-Sintética (Dados de Transfusão de Sangue): Usando um conjunto de dados real onde os rótulos foram artificialmente removidos para criar subconjuntos MCAR e MAR, os autores compararam os modelos MCAR, MAR e Misto sob suposições de covariância iguais e desiguais.
- O modelo Misto superou consistentemente os modelos puramente MCAR e puramente MAR em termos de acurácia de classificação rígida, acurácia balanceada e pontuação F1 macro no subconjunto de rótulos ausentes.
- O modelo misto estimou uma probabilidade MCAR ( $\alpha$ ) próxima ao valor de construção real (0,10).
- Diagnósticos de entropia mostraram que o subconjunto "MAR" (construído a partir de pontos difíceis de classificar) de fato apresentou maior entropia do que os subconjuntos "MCAR" e "observado", validando a interpretabilidade do modelo ajustado.

Significância e Alegações
Os autores posicionam o SSLfmm não como um motor de agrupamento genérico, mas como uma ferramenta especializada que faz a ponte entre o aprendizado semissupervisionado baseado em modelos e a modelagem de dados ausentes baseada em verossimilhança.

Contribuição Distinta: Ao contrário de pacotes existentes (ex: mclust, Rmixmod) que focam em distribuições de componentes ou lidam com características ausentes, o SSLfmm modela explicitamente o processo estocástico de ausência de rótulos.
Novidade: É a primeira implementação que suporta um mecanismo misto MCAR/MAR onde a origem da ausência pode ser observada ou latente, utilizando algoritmos ECM distintos para cada caso.
Utilidade Prática: O pacote permite que pesquisadores ajustem, comparem e diagnostiquem diferentes suposições sobre a ausência de rótulos dentro de um quadro comum.
Escopo Modesto: Os autores reconhecem limitações: a implementação atual assume características totalmente observadas e distribuições condicionais de classe gaussianas. Eles alertam que, quando a origem da ausência é latente, os dados podem conter informações limitadas para separar as contribuições de MCAR e MAR, exigindo uma interpretação cuidadosa dos parâmetros ajustados junto com os diagnósticos. Eles não afirmam que o modelo misto sempre dominará, mas que ele fornece um quadro flexível para estudar como as suposições sobre a disponibilidade de rótulos afetam a estimação e a predição.

Resumo Técnico de "SSLfmm: Um Pacote R para Aprendizado Semissupervisionado com Ausência Mista"

Mais como este