Resumo Técnico: Extensão das Árvores de Ensemble Explicáveis (E2Tree) para Contextos de Regressão

Declaração do Problema

Os métodos de ensemble, particularmente as Florestas Aleatórias (RF), revolucionaram a aprendizagem supervisionada ao oferecer alta precisão preditiva através da agregação de aprendizes fracos. No entanto, esses modelos funcionam como "caixas pretas", carecendo de transparência sobre como processam valores de entrada para gerar previsões. Essa opacidade dificulta a compreensão e a confiança do usuário, especialmente em domínios críticos como medicina e finanças. Embora existam abordagens existentes para interpretabilidade — variando de modelos inerentemente interpretáveis (por exemplo, árvores de decisão) a ferramentas de explicação post-hoc (por exemplo, importância de variáveis, valores de Shapley) — elas frequentemente lutam para equilibrar a precisão do modelo com a capacidade de elucidar interações complexas e não lineares entre características.

O desafio específico abordado neste artigo é a extensão da metodologia Árvores de Ensemble Explicáveis (E2Tree). Originalmente proposta por Aria et al. (2024) para tarefas de classificação, a E2Tree fornece uma representação gráfica, semelhante a uma árvore, de modelos RF que considera tanto os efeitos dos preditores quanto as associações entre preditores. Os autores observam que, embora a E2Tree tenha explicado com sucesso RFs de classificação, faltava uma metodologia correspondente para contextos de regressão (modelos de resultado contínuo).

Metodologia

O artigo propõe uma extensão da estrutura E2Tree para lidar com problemas de regressão. O objetivo central é derivar uma única estrutura semelhante a uma árvore, interpretável, que represente fielmente a lógica de tomada de decisão de um modelo de regressão de Floresta Aleatória treinado.

1. Construção da Matriz de Dissimilaridade

A metodologia começa definindo uma matriz de dissimilaridade $D$ derivada do modelo RF. Seja $H = \{H_1, \dots, H_B\}$ uma Floresta Aleatória de $B$ aprendizes fracos treinada em uma amostra de tamanho $n$. Para quaisquer duas observações $u_i$ e $u_j$, a dissimilaridade $d_{ij}$ é definida como $1 - O_{ij}$, onde $O_{ij}$ é uma medida ponderada de co-ocorrência.

$O_{ij}$ quantifica com que frequência um par de observações cai no mesmo nó ao longo da sequência de árvores, ponderado por uma medida local de ajuste $W(t)_{ij|b}$ para o nó $t$ na árvore $b$:
$$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$$

2. Ajuste Específico para Regressão

Uma contribuição chave deste artigo é a adaptação da medida local de ajuste $W(t)_{ij|b}$ para regressão. No contexto de classificação, essa medida era baseada na pureza; na regressão, os autores propõem o uso do Erro Quadrático Médio Normalizado (NMSE):
$$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$$
Onde:

• $MSE(t)_{ij|b}$ é o erro quadrático médio no nó $t$.
• $p(t)$ é a proporção de observações no nó $t$.
• $MSE_{max}$ é o erro quadrático médio máximo teórico, calculado com base na faixa da variável resposta $Y$ dentro do nó (seguindo Jacobson, 1969): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$.

A medida de ajuste local é então definida como:
$$W(t)_{ij|b} = \begin{cases} 0 & \text{se } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{caso contrário} \end{cases}$$

3. Construção da Árvore e Regras de Parada

O algoritmo constrói a E2Tree dividindo recursivamente os dados com base na matriz de dissimilaridade $D$. Para evitar sobreajuste e garantir que a árvore resultante seja parcimoniosa, os autores introduzem critérios de parada específicos além das divisões padrão de RF:

• Limiar NMSE ($\gamma$): Um nó torna-se terminal se o $NMSE(t)_{ij|b}$ calculado cair abaixo de um limiar especificado $\gamma$ (definido como 0,05 nos experimentos).
• Equivalência Distribucional: Para cada divisão potencial, um teste de Mann-Whitney é realizado para verificar se as distribuições dos valores previstos nos nós filhos são idênticas. Se as distribuições não forem significativamente diferentes, a divisão é rejeitada e o nó pai é tratado como terminal.

Contribuições Principais

1. Extensão Metodológica: A contribuição principal é a extensão formal da E2Tree de classificação para regressão. Isso envolve redefinir a métrica local de ajuste para utilizar NMSE em vez de pureza de classificação.
2. Representação Unificada: O método fornece uma única estrutura semelhante a uma árvore que captura a lógica global de uma Floresta Aleatória, incluindo interações complexas entre preditores, mantendo ao mesmo tempo a precisão preditiva do ensemble original.
3. Capacidade Dupla de Explicação: A E2Tree resultante oferece tanto explicações globais (padrões e regras seguidos pelo modelo) quanto explicações locais (lógica detalhada para instâncias específicas), preenchendo a lacuna entre o desempenho de caixa preta e a interpretabilidade humana.
4. Implementação de Código Aberto: Os autores fornecem um pacote R (e2tree) e disponibilidade de código, facilitando a reprodutibilidade e a aplicação futura do método.

Resultados Experimentais

Os autores validaram o método proposto usando dois conjuntos de dados do repositório UCI Machine Learning: o conjunto de dados Iris (adaptado para regressão no Comprimento da Pétala) e o conjunto de dados Auto MPG (prevendo eficiência de combustível).

• Conjunto de Dados Iris: A E2Tree reconstruiu com sucesso a estrutura da matriz de co-ocorrência da RF. Uma análise de agrupamento hierárquico comparando a matriz RF original ($O_{ij}$) e a matriz estimada pela E2Tree ($\hat{O}_{ij}$) resultou em um Índice de Fowlkes-Mallows (FMI) de aproximadamente 90%, indicando um alto grau de similaridade na estrutura de agrupamento.
• Conjunto de Dados Auto MPG: Apesar do tamanho maior do conjunto de dados e das relações não lineares, a E2Tree visualizou efetivamente os caminhos de decisão. A comparação de mapas de calor para $O_{ij}$ e $\hat{O}_{ij}$ resultou em um FMI de aproximadamente 75%.
• Interpretabilidade: Em ambos os casos, a E2Tree forneceu caminhos claros "Se-Então". Para os dados Auto MPG, a árvore visualizou efeitos negativos do deslocamento, peso e potência no MPG, e efeitos positivos do ano do modelo e origem, oferecendo insights que não são diretamente acessíveis a partir de um modelo RF ajustado padrão.

Significado e Alegações

O artigo afirma que a E2Tree garante que os modelos de aprendizagem de máquina permaneçam "ferramentas de empoderamento", oferecendo um processo de tomada de decisão compreensível sem sacrificar a precisão do ensemble. Os autores enfatizam que sua abordagem:

• Interpreta o processo de ensemble através de uma única estrutura de árvore coerente.
• Mantém o desempenho de precisão da Floresta Aleatória subjacente.
• Fornece uma ferramenta poderosa para explicar interações entre preditores que determinam as previsões finais dos nós.

Os autores concluem que essa extensão aborda questões de interpretabilidade e explicabilidade tanto em contextos de classificação quanto de regressão. Eles observam que trabalhos futuros visam generalizar a abordagem para outras metodologias de ensemble-árvore e desenvolver métricas adicionais para avaliar a fidelidade dos resultados da E2Tree em relação às saídas originais do ensemble. O artigo não afirma substituir modelos de caixa preta, mas sim fornecer uma camada de explicação transparente e post-hoc que preserva a utilidade do modelo.