Resumo Técnico: Alinhamento de Rashomon

Declaração do Problema

Os métodos atuais para avaliar a similaridade funcional entre modelos de aprendizado de máquina baseiam-se em medidas distribucionais. Essas métricas comparam as saídas dos modelos em dados reais disponíveis (conjuntos de teste) para quantificar o acordo. No entanto, os autores argumentam que tais medidas sofrem de duas limitações críticas:

1. Validade Ecológica: Elas refletem apenas a similaridade em regiões do espaço de instâncias cobertas pelos dados disponíveis. Se a amostra de dados for não representativa da verdadeira distribuição subjacente, a estimativa de similaridade será deficiente.
2. Sensibilidade à Deriva de Conceito (Concept Drift): Mesmo que sejam precisas para os dados atuais, essas medidas tornam-se obsoletas se a distribuição dos dados mudar (desvio de covariável/covariate shift), pois não consideram o alinhamento estrutural das fronteiras de decisão em todo o espaço de instâncias.

As medidas de similaridade funcional existentes falham em distinguir entre modelos que concordam em pontos de dados específicos, mas que definem fronteiras de decisão estruturalmente diferentes em outros lugares. Consequentemente, confiar apenas na acurácia preditiva ou no acordo distribucional pode ser enganoso, mascarando divergências estruturais significativas entre os modelos.

Metodologia: Alinhamento de Rashomon (RA)

O artigo propõe o Alinhamento de Rashomon (RA), um novo framework para avaliar a similaridade funcional que incorpora uma perspectiva geométrica. O RA é definido como a probabilidade de dois modelos, $M_A$ e $M_B$, produzirem a mesma previsão para uma instância $x$ selecionada aleatoriamente de uma distribuição de referência $Q$. Os autores distinguem entre duas variantes baseadas na escolha de $Q$:

1. Alinhamento de Rashomon Distribucional (dRA)

• Distribuição de Referência ($Q$): A distribuição geradora de dados $P(X)$.
• Estimativa: Computada usando uma amostra de dados observados (ex: um conjunto de teste de reserva/hold-out).
• Características: Reflete o acordo nas regiões onde existem dados reais. É sensível à representatividade da amostra e a mudanças na distribuição dos dados. É um estimador não enviesado do acordo ao nível da população sob $P(X)$.

2. Alinhamento de Rashomon Geométrico (gRA)

• Distribuição de Referência ($Q$): A distribuição uniforme $U(F)$ sobre o espaço de instâncias $F$ (definido pelos domínios das variáveis).
• Estimativa: Computada usando uma amostra sintética $X_{syn}$ extraída uniformemente do espaço de instâncias (tipicamente dentro da caixa delimitadora das características de treinamento).
• Características: Estima a similaridade através de todo o espaço de instâncias, independentemente de qualquer distribuição de dados específica. Mede a fração do espaço de instâncias onde as funções de decisão coincidem.
• Invariância: Como $X_{syn}$ é gerada independentemente dos dados de treinamento ou teste, o gRA é invariante a mudanças em $P(X)$, desde que as funções de decisão subjacentes permaneçam fixas.

Relação Teórica

O artigo estabelece que o dRA e o gRA estão relacionados via uma mudança de medida. A lacuna entre eles ($|dRA^* - gRA^*|$) quantifica a extensão em que os dados observados falham em representar o espaço de instâncias completo. Um dRA alto com um gRA baixo indica que os modelos concordam onde os dados residem, mas discordam em outros lugares, um tipo de acordo que é frágil sob desvios de distribuição.

Configuração Experimental

Para validar a metodologia, os autores conduziram um estudo empírico extensivo:

• Datasets: 92 datasets diversos do repositório UCI Machine Learning Repository, cobrindo vários domínios, tamanhos (32 a 4.600+ instâncias), dimensionalidades (4 a 649 características) e tipos de características.
• Modelos: Uma comparação entre árvores de decisão podadas (pruned) e não podadas (unpruned). Este cenário foi escolhido porque os modelos compartilham a mesma linguagem de hipótese (fronteiras diretamente comparáveis), mas exibem diferentes tendências em relação ao overfitting, garantindo uma mistura de pares alinhados e desalinhados.
• Protocolo: Validação cruzada de 5 dobras (5-fold cross-validation). Para cada dobra, os modelos foram treinados e três métricas foram registradas: diferença de acurácia, dRA (no particionamento de teste) e gRA (em 1.000 instâncias uniformes sintéticas).

Principais Resultados

Os experimentos produziram quatro insights primários:

1. Complementaridade de gRA e Acurácia:

   • Existe uma correlação positiva moderada ($r = 0,514$) entre o gRA e a diferença de acurácia.
   • No entanto, as medidas não são redundantes. O estudo identificou casos críticos onde os modelos tinham baixo gRA, mas baixa diferença de acurácia (fronteiras estruturalmente diferentes que, por acaso, se equilibram no conjunto de teste) e alto gRA, mas alta diferença de acurácia (fronteiras similares onde o desacordo está concentrado em regiões específicas do teste).
   • Isso demonstra que focar apenas no desempenho preditivo pode ser enganoso; o gRA revela similaridades ou diferenças estruturais que a acurácia sozinha não consegue captar.

2. Complementaridade de gRA e dRA:

   • Os valores de dRA foram geralmente mais altos e mais concentrados do que os de gRA, indicando que os modelos tendem a concordar mais nos dados observados do que no espaço de instâncias completo.
   • Existe uma forte correlação ($r = 0,745$) entre gRA e dRA, mas observaram-se desvios significativos.
   • Achado Crítico: Vários datasets exibiram alto dRA, mas baixo gRA. Nesses casos, os modelos concordavam no particionamento de teste, mas discordavam substancialmente sobre a maior parte do espaço de instâncias. Confiar apenas no dRA nesses cenários levaria a uma superestimativa da similaridade estrutural do modelo.
   • Inversamente, nenhum dataset mostrou alto gRA com baixo dRA, o que é consistente com a relação teórica de que o acordo uniforme implica acordo em qualquer subamostra.

3. Análise de Quadrantes:

   • A análise particionou os datasets em quatro quadrantes baseados nas medianas de gRA e na diferença absoluta de acurácia.
   • O quadrante mais populado foi alta diferença de acurácia / baixo gRA, confirmando que a poda frequentemente altera as fronteiras significativamente em problemas complexos.
   • O quadrante alta diferença de acurácia / alto gRA destacou casos onde o alinhamento global existia apesar das discrepâncias de acurácia de teste, enfatizando que o desacordo estava concentrado na região específica do conjunto de teste.

Significância e Alegações

O artigo afirma que o Alinhamento de Rashomon fornece uma visão abrangente do alinhamento das fronteiras de decisão que é independente de distribuições de dados específicas. A significância do trabalho reside em:

• Introduzir uma Perspectiva Geométrica: Ir além da similaridade distribucional para avaliar a similaridade funcional através de todo o espaço de instâncias.
• Revelar Divergências Ocultas: Demonstrar que medidas distribucionais (e a acurácia) podem mascarar diferenças estruturais entre modelos, particularmente sob desvio de covariável ou quando os dados não são representativos.
• Utilidade Prática: Os autores propõem que o RA pode ser usado para seleção de modelos, construção de ensembles (selecionando modelos diversos) e melhoria da interpretabilidade de algoritmos de aprendizado de máquina.

Os autores mantêm uma postura modesta, observando que o RA complementa, em vez de substituir, a acurácia. Eles sugerem que o trabalho futuro envolve aplicar o RA a outros algoritmos e refinar métodos para amostragem do espaço de instâncias.