Resumo Técnico: MLCBART (Bayesian Additive Regression Trees para Classificação Multirrótulo)

Definição do Problema

A Classificação Multirrótulo (MLC) envolve aprender um mapeamento de um espaço de entrada $\mathcal{X}$ para um vetor de $q$ rótulos binários $\mathbf{Y} = (y_1, \dots, y_q)$ simultaneamente. Diferente da classificação multiclasse, os rótulos de MLC não são mutuamente exclusivos; uma única instância pode possuir múltiplos rótulos com associações inter-rótulos arbitrárias. O desafio reside em modelar relações complexas e potencialmente não lineares entre preditores e cada rótulo, enquanto se contabiliza simultaneamente as correlações entre os rótulos que persistem mesmo após o ajuste pelos efeitos dos preditores. As abordagens existentes geralmente se dividem em duas categorias: transformação de problema (ex: Relevância Binária, Cadeias de Classificadores), que frequentemente ignoram ou simplificam as dependências de rótulos, e adaptação de algoritmo, que modifica modelos existentes para lidar com múltiplas saídas.

Metodologia: O Framework MLCBART

Os autores propõem o MLCBART, um framework Bayesiano que estende as Árvores de Regressão Aditiva Bayesianas (BART) para o cenário multirrótulo. O núcleo da metodologia baseia-se em uma formulação de variável latente combinada com uma estrutura de ensemble de soma de árvores.

1. Modelo de Variável Latente

O modelo assume que os rótulos binários observados $y_{ik}$ surgem do limiar de variáveis contínuas latentes subjacentes $z_{ik}$:
$$y_{ik} = \mathbb{1}(z_{ik} > 0)$$
O vetor latente $\mathbf{Z}_i = (z_{i1}, \dots, z_{iq})$ segue uma distribuição normal multivariada:
$$\mathbf{Z}_i = \mathbf{G}(\mathbf{x}_i; \mathbf{T}, \mathbf{M}) + \boldsymbol{\epsilon}_i$$
onde:

• $\mathbf{G}(\mathbf{x}_i; \mathbf{T}, \mathbf{M})$ é um vetor de $q$ funções de regressão. Cada função $G_k$ é um modelo de soma de árvores (BART), permitindo a modelagem não paramétrica flexível da relação entre preditores e a média latente para cada rótulo.
• $\boldsymbol{\epsilon}_i \sim \mathcal{MVN}(\mathbf{0}, \mathbf{R})$, onde $\mathbf{R}$ é a matriz de correlação dos erros latentes. Esta estrutura modela explicitamente a correlação condicional entre os rótulos.

2. Inferência Bayesiana e Estimativa

Os parâmetros do modelo incluem as estruturas das árvores $\mathbf{T}$, os valores dos nós terminais $\mathbf{M}$ e a matriz de correlação $\mathbf{R}$.

• Priors: São utilizados priors padrão de BART para as estruturas das árvores e valores dos nós. Para a matriz de correlação $\mathbf{R}$, os autores aplicam um prior de Inverse-Wishart na matriz de covariância não limitada $\boldsymbol{\Sigma}$ e derivam a densidade para a matriz de correlação implícita $\mathbf{R}$ via decomposição ($\boldsymbol{\Sigma} = \mathbf{D}^{1/2}\mathbf{R}\mathbf{D}^{1/2}$).
• Amostragem Posterior: Um algoritmo de Monte Carlo via Cadeias de Markov (MCMC) é empregado utilizando uma abordagem de backfitting Bayesiano. O esquema de amostragem itera através de:
  1. Amostragem de variáveis latentes $\mathbf{Z}$ de normais univariadas truncadas condicionais aos parâmetros atuais.
  2. Atualização de estruturas de árvores e valores de nós para cada rótulo usando backfitting.
  3. Amostragem da matriz de correlação $\mathbf{R}$ usando um passo de Metropolis-Hastings.

3. Predição e Quantificação de Incerteza

O framework gera uma distribuição preditiva posterior para combinações de rótulos.

• Classificação Hard: A combinação de rótulos com a maior probabilidade posterior é selecionada.
• Classificação Soft: O método fornece a distribuição de probabilidade completa estimada sobre todas as $2^q$ combinações de rótulos possíveis.
• Incerteza: A natureza Bayesiana permite a quantificação da incerteza tanto ao nível do rótulo individual (probabilidades marginais) quanto ao nível da combinação de rótulos (probabilidades conjuntas), fornecendo intervalos de credibilidade para as probabilidades.

Principais Contribuições

1. Modelagem Não Paramétrica Flexível: Ao integrar o BART, o modelo captura relações complexas, não lineares e de interação entre preditores e rótulos sem exigir formas funcionais pré-especificadas.
2. Modelagem Explícita de Correlação: Diferente das abordagens BART univariadas (que assumem independência condicional), o MLCBART estima uma matriz de correlação condicional $\mathbf{R}$, aproveitando as dependências inter-rótulos para melhorar as predições conjuntas.
3. Quantificação Abrangente de Incerteza: O framework fornece saídas probabilísticas para combinações de rótulos, permitindo que analistas avaliem a confiança da predição e apliquem funções de perda personalizadas baseadas na distribuição posterior completa.
4. Estrutura de Média Adaptativa: A estrutura de soma de árvores permite que o modelo se adapte a uma ampla gama de estruturas de média, potencialmente mitigando o viés que poderia ser absorvido pelas estimativas de correlação.

Resultados Experimentais

Os autores avaliaram o MLCBART através de estudos de simulação e uma aplicação de dados reais.

Estudo de Simulação

• Configuração: Dados simulados com $q=3$ rótulos e $p=3$ preditores, apresentando funções de média não lineares e de interação, além de fortes correlações inter-rótulos.
• Comparadores: O MLCBART foi comparado contra o BART univariado, modelos probit multivariados (com preditores corretos e lineares) e modelos probit univariados.
• Descobertas:
  • Sinal Fraco: Quando a razão sinal-ruído era baixa (médias latentes próximas à fronteira de decisão), o MLCBART superou significativamente os equivalentes univariados em acurácia de subconjunto (subset accuracy). A estimativa precisa da matriz de correlação foi crucial neste regime.
  • Sinal Forte: Quando o sinal era forte (médias latentes longe da fronteira), a estrutura de média dominou o desempenho. O MLCBART apresentou desempenho comparável aos melhores modelos univariados, sugerindo que, embora a estimativa de correlação seja difícil em regimes de sinal alto, a modelagem flexível da média garante um desempenho robusto.
  • Acurácia da Distribuição: Medida pela divergência de Kullback-Leibler (KL), o MLCBART produziu distribuições de probabilidade de combinações de rótulos significativamente mais próximas da distribuição real subjacente do que o BART univariado.
  • Comparação com Oracle: O desempenho do MLCBART aproximou-se ao de um modelo "oracle" (que conhecia a forma funcional verdadeira), superando todos os outros competidores.
  • Robustez: O modelo foi robusto à inclusão de preditores não informativos.

Análise de Dados Reais

• Dataset: Dados de Doença Coronariana (CHD) com 555 casos, 49 preditores e 5 síndromes (rótulos).
• Resultados: O MLCBART alcançou uma melhoria estatisticamente significativa na acurácia de subconjunto (0.19) em comparação ao BART Univariado (0.18) e a um Baseline (0.14).
• Interpretação: A melhoria foi atribuída à capacidade do modelo de capturar fortes correlações negativas (ex: -0.85) e correlações positivas entre síndromes específicas, o que o modelo univariado não conseguiu aproveitar.
• Incerteza: A análise destacou a capacidade do modelo de fornecer medidas de incerteza matizadas, mostrando que, embora a combinação de rótulos mais provável tenha sido identificada, o modelo manteve um grau de incerteza (ex: as maiores probabilidades agrupando-se em torno de 20%), refletindo a complexidade dos dados.

Significância e Limitações

O artigo postula que o MLCBART é um forte candidato para problemas de MLC, particularmente onde:

• A acurácia da predição conjunta (acurácia de subconjunto) é priorizada sobre a acurácia do rótulo individual.
• A compreensão e o aproveitamento das dependências de rótulos são críticos (ex: diagnóstico médico, marketing).
• A quantificação de incerteza para tomada de decisão é necessária.

Limitações reconhecidas pelos autores:

• Custo Computacional: O método é computacionalmente caro, sendo atualmente mais adequado para problemas de pequeno a médio porte.
• Escalabilidade: Uma versão paralelizável para conjuntos de dados maiores ainda não foi desenvolvida.
• Sensibilidade: A sensibilidade do modelo a diferentes priors e parâmetros de ajuste não foi totalmente explorada.
• Escopo de Comparação: A avaliação foi limitada a uma estrutura de simulação específica e não incluiu comparações com outros métodos desenvolvidos recentemente especificamente para MLC.

Os autores concluem que, embora o modelo seja computacionalmente intensivo, sua capacidade de se aproximar do desempenho de um oracle e fornecer uma rica quantificação de incerteza o torna uma ferramenta valiosa para tarefas complexas de classificação multirrótulo.