Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

Resumo Técnico: Expandindo Modelos de Seleção de Instâncias Pivô-Agnósticos a Dados com Árvores de Proximidade e Aprendizado de Conjunto

Definição do Problema
Modelos de aprendizado de máquina tornaram-se essenciais para a tomada de decisão complexa em domínios como saúde e finanças, mas sua natureza de "caixa-preta" frequentemente impede a interpretabilidade. Embora os humanos racocinem naturalmente comparando novos casos a exemplos representativos (raciocínio baseado em casos), muitos modelos interpretáveis existentes baseiam-se em regras abstratas de características que não se alinham com esse processo cognitivo. Além disso, as abordagens atuais baseadas em instâncias muitas vezes têm dificuldade com modalidades de dados onde as características carecem de significado semântico claro (ex: imagens, texto, séries temporais) ou falham em equilibrar o desempenho preditivo com o número de instâncias representativas (pivôs) necessárias para a explicação. O artigo aborda a necessidade de um framework unificado e agnóstico a dados para selecionar instâncias pivô de alta qualidade para construir modelos preditivos interpretáveis capazes de raciocinar através da similaridade.

Metodologia
Os autores propõem o PivotTree, um modelo hierárquico, interpretável por design, inspirado em árvores de decisão, mas fundamentado na similaridade com pivôs selecionados em vez de limiares de características. A metodologia abrange três componentes principais:

1. Seleção de Pivôs e Indução de Árvore:
   O PivotTree constrói de forma gananciosa (greedy) uma árvore de decisão onde cada nó divide as instâncias com base em sua similaridade com pivôs específicos (instâncias de treinamento representativas). O algoritmo identifica dois tipos de pivôs em cada etapa:

   • Pivôs Discriminativos: Instâncias que maximizam o ganho de impureza ao particionar os dados com base na similaridade.
   • Pivôs Descritivos: Instâncias que maximizam a similaridade com outras instâncias da mesma classe dentro do nó atual.
     O processo de indução da árvore codifica as instâncias em um espaço de similaridade relativo a esses pivôs, permitindo que o modelo funcione tanto como um seletor de pivôs quanto como um modelo preditivo autônomo.

2. Estratégias de Divisão (Splitting):
   Para aumentar a expressividade e a adaptabilidade, o PivotTree implementa três mecanismos de divisão distintos:

   • Divisão Univariante (pt): Utiliza um único pivô por nó com uma condição de limiar ($s(x, p_i) \geq \beta$).
   • Divisão Oblíqua (opt): Utiliza uma combinação linear de similaridades a dois pivôs ($\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$), permitindo fronteiras de decisão mais complexas.
   • Divisão de Proximidade (ppt): Compara a similaridade de uma instância com dois pivôs diretamente ($s(x, p_i) > s(x, p_j)$), roteando a instância com base em qual pivô ela é mais próxima. Isso oferece uma interpretação relativa, em vez de absoluta, da similaridade.

3. Aprendizado de Conjunto (RandomPivotForest):
   Os autores estendem a abordagem de árvore única para um framework de conjunto, o RandomPivotForest, que agrega previsões de múltiplos estimadores PivotTree usando votação majoritária. Para gerenciar a complexidade, eles também exploram uma abordagem de "floresta de tocos de divisão" (splitting stump forest), onde conjuntos compactos de aprendizes fracos (tocos/stumps) são extraídos da floresta e usados para votação direta ou combinados com um classificador de regressão logística.

4. Agnosticismo de Dados:
   Uma característica central da metodologia é o desacoplamento do cálculo de similaridade da representação do objeto. Ao utilizar redes pré-treinadas (ex: ResNet para imagens, Sentence Transformers para texto) para mapear os dados em um espaço vetorial latente ($\mathbb{R}^m$), o PivotTree pode ser aplicado uniformemente em dados tabulares, séries temporais, imagens e texto.

Principais Contribuições

• Framework Unificado: Introdução do PivotTree, um modelo que realiza simultaneamente a seleção de pivôs e a modelagem preditiva, preenchendo a lacuna entre a seleção de instâncias e a classificação interpretável.
• Mecanismos de Divisão Versáteis: Desenvolvimento de estratégias de divisão baseadas em univariate, oblíqua e proximidade, que permitem ao modelo adaptar-se a diferentes estruturas de dados e necessidades de interpretabilidade.
• Independência de Modalidade de Dados: Demonstração de que a abordagem é eficaz em diversas modalidades (tabulares, séries temporais, imagens, texto) ao utilizar embeddings pré-treinados e uma métrica de similaridade unificada (distância Euclidiana, com Cosseno e Manhattan também avaliadas).
• Integração de Conjunto: Proposta do RandomPivotForest e suas variantes comprimidas, oferecendo um equilíbrio entre a robustez dos métodos de conjunto e a interpretabilidade do raciocínio baseado em casos.

Resultados Experimentais
Os autores avaliaram o PivotTree e suas variantes em 45 conjuntos de dados abrangendo quatro modalidades. As principais descobertas incluem:

• Desempenho Preditivo: As variantes do PivotTree (especificamente $ptc_Z$ e $pts_Z$) alcançaram resultados competitivos contra modelos interpretáveis de última geração (ex: árvores de decisão, conjuntos de regras) e classificadores padrão (kNN, Random Forests). Em muitos casos, superaram os concorrentes, particularmente em dados não relacionais como imagens e texto.
• Interpretabilidade: Os modelos mantiveram alto desempenho utilizando um número mínimo de pivôs (frequentemente limitado a 20), reduzindo significativamente a complexidade do modelo em comparação com alternativas de caixa-preta.
• Desempenho de Conjunto: As variantes do RandomPivotForest geralmente igualaram ou aproximaram-se do desempenho de Random Forests padrão e métodos de boosting (XGBoost, LightGBM) em dados tabulares e séries temporais. Notavelmente, as variantes baseadas em proximidade ($rppt$) mostraram desempenho superior em conjuntos de dados de imagem.
• Medidas de Distância: Embora a distância Euclidiana tenha sido a métrica principal, experimentos com as distâncias Cosseno e Manhattan mostraram desempenho geral comparável, com a distância de Cosseno apresentando resultados particularmente fortes para dados de imagem.
• Eficiência: Os tempos de treinamento variaram conforme o tamanho e a dimensionalidade do conjunto de dados, sendo as variantes univariantes geralmente mais rápidas que as oblíquas. O uso de subamostragem de 10% para o treinamento do conjunto reduziu significativamente o tempo de treinamento com impacto mínimo no desempenho preditivo.

Significância e Alegações
O artigo afirma que o PivotTree representa um passo significativo para a IA Explicável (XAI) ao alinhar os processos de decisão do aprendizado de máquina com estratégias cognitivas humanas (raciocínio baseado em casos). Sua principal significância reside na capacidade de fornecer modelos interpretáveis e transparentes que não sacrificam a precisão preditiva, mesmo em domínios complexos onde os modelos interpretáveis tradicionais baseados em características encontram dificuldades.

Os autores observam modestamente que, embora a abordagem de conjunto (RandomPivotForest) alcance alto desempenho, ela introduz variância na complexidade do modelo. Eles também reconhecem que, para tarefas onde o desempenho absoluto é a única prioridade, modelos de caixa-preta ou o PivotTree combinado com kNN podem superar as estruturas de árvore isoladas, embora esta última ofereça superior interpretabilidade estrutural. O trabalho sugere que a escolha do modelo deve depender do equilíbrio específico exigido entre interpretabilidade global, raciocínio local e poder preditivo. Direções futuras identificadas incluem a exploração de estratégias de divisão híbridas e a validação da abordagem em cenários de decisão reais com participação humana (human-in-the-loop).