Resumo Técnico: Aprendendo com Rótulos Ausentes Dependentes de Incerteza para Classificação Semissupervisionada

1. Definição do Problema

Na classificação semissupervisionada, os rótulos ausentes são tradicionalmente vistos como uma fonte de perda de informação, reduzindo a eficiência e complicando a inferência. No entanto, em muitos cenários práticos — como imagens médicas, aprendizagem ativa e moderação online — os rótulos não estão ausentes ao acaso (MAR) de uma forma passiva. Em vez disso, a probabilidade de um rótulo estar ausente pode depender das características observadas ($Y$) e, crucialmente, da incerteza da classificação posterior derivada do próprio modelo de rótulos.

O problema central abordado é como caracterizar o conteúdo de informação de tais rótulos ausentes dependentes de incerteza. Embora a teoria da informação clássica dite que observar uma versão reduzida de um experimento completo não pode aumentar a informação além do experimento completo aumentado, este artigo investiga se o indicador de ausência ($M$), quando gerado por um mecanismo dependente de incerteza, pode atuar como um sinal observável que melhora a estimativa e o desempenho da classificação em relação às bases padrão totalmente rotuladas ou parcialmente rotuladas não informativas sob um orçamento fixo.

2. Metodologia

2.1. Estrutura Estatística

Os autores consideram um cenário de classificação com $g$ classes, características $Y$ e rótulos $Z$. O indicador de ausência $M \in \{0, 1\}$ denota se um rótulo é observado ($M=0$) ou está ausente ($M=1$). O mecanismo de ausência é modelado como:
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
onde $h$ é uma função de ligação inversa e $\eta_{\theta,\xi}(Y)$ é um preditor que depende dos parâmetros do modelo de rótulo $\theta$, dos parâmetros do mecanismo $\xi$ e de um resumo da incerteza de classificação posterior $u(Y; \theta)$. Exemplos de $u(Y; \theta)$ incluem entropia de Shannon posterior, log-entropia negativa ou variância posterior.

A verossimilhança dos dados observados é construída como:
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
onde o primeiro termo se aplica quando os rótulos são observados e o segundo (densidade marginal das características) quando eles estão ausentes.

2.2. Decomposição de Informação

A principal contribuição metodológica é uma teoria da informação baseada em verossimilhança que decompõe a informação de Fisher observada $I_{obs}(\theta)$.

Caso Corretamente Especificado:
Usando a identidade de informação observada de Louis, os autores derivam uma decomposição que separa a informação em um componente de rotulagem parcial e um termo de curvatura do mecanismo:
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{Componente de rotulagem parcial}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{Curvatura do mecanismo}}$$

• $I_{CC}(\theta)$: Informação de Fisher de dados completos.
• $I_{CC}^{(miss,r)}(\theta, \xi)$: Perda de informação de rotulagem parcial ponderada.
• $I_{mech}(\theta, \xi)$: Um termo semidefinido positivo que quantifica a curvatura contribuída pelos indicadores de ausência observados $M_j$. Para ligações logísticas, este termo depende da variância da probabilidade de ausência e do gradiente do resumo de incerteza.

Caso Especificado Incorretamente:
Reconhecendo que tanto o modelo de rótulo quanto o mecanismo podem ser especificos incorretamente na prática, os autores estendem o framework para o framework de covariância Godambe–Eicker–Hubber–White (sandwich). Eles derivam as partições de sensibilidade e de covariância sandwich para a estimativa conjunta de $(\theta, \xi)$, mostrando que a decomposição estrutural (rotulagem parcial + curvatura do mecanismo) persiste mesmo sob especificação incorreta, embora a quantificação da incerteza mude da informação de Fisher inversa para a covariância sandwich.

2.3. Limites Teóricos

O artigo esclarece a relação entre o experimento parcialmente rotulado observado e o experimento "aumentado" onde tanto os rótulos quanto os indicadores do mecanismo são observados. Prova-se que, embora a ausência dependente de incerteza possa gerar uma ausência favorável (maior informação do que uma base não informativa correspondente em orçamento), ela não pode exceder o limite de informação do experimento aumentado $(Y, Z, M)$. Os dados observados $(Y, M, Z_{obs})$ são um enrugamento (coarsening) dos dados aumentados, satisfazendo as desigualdades de informação padrão.

2.4. Análise de Risco

Para classificadores plug-in, os autores conectam a decomposição de informação aos limites de excesso de risco baseados em margem. Em configurações de mistura de dois componentes regulares, eles estabelecem que o excesso de risco converge à taxa paramétrica $O_p(n^{-1})$. As constantes nesta taxa são determinadas pela informação ajustada pelo ruído (nuisance-adjusted) nas direções discriminantes, implicando que uma curvatura de mecanismo favorável pode reduzir a variância assintótica da fronteira de decisão.

3. Principais Contribuições

1. Decomposição de Informação: Derivação de uma decomposição da informação de Fisher que isola explicitamente um termo de "curvatura do mecanismo" não negativo. Este termo explica como o indicador de ausência, quando dependente da incerteza posterior, carrega informação adicional sobre o classificador.
2. Robustez sob Especificação Incorreta: Extensão da decomposição para o framework de covariância sandwich sob especificação conjunta incorreta do modelo de rótulo e do mecanismo de ausência, fornecendo uma base rigorosa para inferência em cenários práticos onde modelos de trabalho são utilizados.
3. Taxas de Excesso de Risco: Estabelecimento de limites de excesso de risco baseados em margem para classificadores plug-in sob ausência dependente de incerteza, demonstrando que a ausência favorável leva a um melhor desempenho de classificação (menor variância assintótica) sob orçamentos de rotulagem fixos.
4. Esclarecimento da "Ausência Favorável": Uma definição rigorosa e prova de que a ausência favorável é um ganho relativo sobre as bases não informativas ou totalmente rotuladas correspondentes em orçamento, não uma violação das desigualdades de informação clássicas em relação ao experimento de dados aumentados.

4. Resultados

4.1. Ilustrações Numéricas (Misturas Gaussianas)

• Ganho de Informação: Em um cenário de mistura gaussiana de dois componentes, simulações de Monte Carlo demonstram que mecanismos de ausência dependentes de entropia podem gerar um aumento de três vezes na informação de Fisher ao longo da direção discriminante em comparação com uma base não informativa (MCAR) com a mesma taxa de ausência.
• Dependência de Regime: O ganho de informação é não monótono em relação à taxa de ausência e à sensibilidade do design. Ele é maximizado quando há sobreposição de classes moderada, uma taxa de ausência não excessiva e um mecanismo suficientemente sensível para concentrar a ausência próximo a observações de alta incerteza sem saturar.
• Análise de Custo-Benefício: Sob um orçamento total fixo (equilibrando o custo de coleta de características e o custo de rotulagem), a taxa de ausência ideal aumenta com o custo relativo de rotulagem. Designs dependentes de incerteza permitem tamanhos de amostra de características maiores enquanto mantêm ou melhoram a eficiência da estimativa em comparação com designs totalmente supervisionados.

4.2. Estudo de Caso (Diagnóstico Médico)

O framework foi aplicado a um conjunto de dados de diagnóstico gastrointestinal (vídeos de colonoscopia) onde os rótulos foram derivados do consenso de endoscopistas.

• Validação do Mecanismo: Os dados confirmaram que a ausência de rótulos (falta de consenso) estava fortemente associada a uma maior entropia posterior (incerteza).
• Desempenho: Modelos semissupervisionados (SSL) baseados em entropia superaram um benchmark supervisionado treinado apenas com os 35 casos rotulados disponíveis.
  • O modelo SSLlogit alcançou a menor taxa de erro de predição (0,1325) em comparação com o benchmark supervisionado (0,1775).
  • Os modelos SSL exibiram matrizes de informação de Fisher ajustadas maiores, indicando maior eficiência de estimativa impulsionada pelo termo de curvatura do mecanismo.

5. Significância e Alegações

O artigo afirma fornecer um framework baseado em verossimilhança para entender como a ausência dependente de incerteza remodela a geometria da informação da aprendizagem semissupervisionada. Sua significância reside em:

• Reenquadramento da Ausência: Mudar a perspectiva dos rótulos ausentes de um incômodo a ser imputado ou ignorado para um sinal estruturado que pode ser explicitamente modelado para melhorar a inferência.
• Resolução do Paradoxo: Esclarecer que a "ausência favorável" não viola a teoria da informação clássica; em vez disso, ela explora o fato de que o indicador de ausência $M$ é uma variável observável gerada por um mecanismo ligado à incerteza do classificador.
• Utilidade Prática: Demonstrar que modelar explicitamente o mecanismo de ausência (por exemplo, via mascaramento dependente de entropia) pode levar a melhorias tangíveis tanto na estimativa de parâmetros (via aumento da informação de Fisher) quanto na precisão da classificação (via redução do excesso de risco) sob restrições de recursos fixos.
• Robustez: Fornecer uma base teórica (via estimador sandwich) que permanece válida mesmo quando os modelos de trabalho para a distribuição de rótulos ou o mecanismo de ausência são imperfeitos, o que é típico em aplicações do mundo real.

Os autores concluem que, embora os ganhos sejam locais e dependentes de regime, o framework oferece uma maneira fundamentada de aproveitar os efeitos de seleção na coleta de dados para uma aprendizagem semissupervisionada mais eficiente.