TabSHAP

Título: TabSHAP: Atribuição de Interpretabilidade para Classificadores Tabulares Baseados em LLMs

1. O Problema

O uso de Grandes Modelos de Linguagem (LLMs) fine-tuned (ajustados) em dados tabulares serializados está emergindo como uma alternativa poderosa aos modelos baseados em árvores tradicionais (como XGBoost), especialmente para conjuntos de dados heterogêneos ou ricos em contexto. No entanto, a adoção desses modelos em domínios de alto risco (saúde, finanças) é impedida pela falta de interpretabilidade fiel.

As limitações das abordagens atuais incluem:

• Proxies Lineares Globais: Métodos existentes frequentemente tentam explicar o LLM ajustando um modelo linear global (como regressão logística) às previsões, o que falha em capturar a lógica de decisão não linear e específica da instância codificada nos parâmetros do LLM.
• Atribuição em Nível de Sub-token: Métodos de perturbação padrão operam no nível de tokens individuais. Em dados tabulares serializados, um único valor de recurso (ex: "Idade: 50") pode ser dividido em vários tokens. A exclusão de um único token pode corromper a sintaxe do prompt ou gerar alucinações, invalidando a importância do recurso.
• Medidas Escalares Insuficientes: A maioria dos métodos mede o impacto de um recurso apenas pela mudança na probabilidade de uma classe específica ou na "virada" da previsão. Isso ignora a incerteza probabilística completa e a distribuição de confiança do modelo sobre todas as classes.

2. Metodologia: TabSHAP

O TabSHAP é um framework de interpretabilidade model-agnostic (agnóstico ao modelo) projetado para atribuir a lógica de decisão local em classificadores tabulares baseados em LLMs. A abordagem adapta o estimador de coalizão amostrada (estilo Shapley) com três inovações principais:

• Mascaramento Atômico de Recursos (Feature-Level Atomic Masking):

  • Em vez de mascarar tokens individuais, o TabSHAP trata cada campo serializado no formato chave:valor (ex: idade:50) como uma unidade atômica.
  • Durante a avaliação de coalizões, se um recurso estiver ausente, toda a string chave:valor é omitida do prompt. Isso preserva a sintaxe e garante que a perturbação corresponda à remoção semântica real de um recurso, evitando alucinações do modelo.

• Atribuição Distribucional via Divergência de Jensen-Shannon (JSD):

  • O framework não compara apenas se a etiqueta prevista mudou. Ele compara a distribuição de probabilidade completa de saída do modelo (antes e depois da remoção do recurso).
  • Utiliza a Divergência de Jensen-Shannon (JSD) para medir a similaridade entre a distribuição de classes com todos os recursos e a distribuição com um subconjunto de recursos.
  • A função de valor $v(S)$ é definida como a similaridade distribucional (normalizada), capturando como a remoção de um recurso afeta a confiança do modelo em todas as classes, não apenas na classe vencedora.

• Agregação de Classe Estilo "Verbalizer":

  • LLMs generativos distribuem massa de probabilidade sobre um vocabulário vasto. O mesmo rótulo (ex: "Sim") pode ser representado por múltiplos tokens ("Sim", " sim", "ye" + "s").
  • O TabSHAP agrega as probabilidades dos top-K logits que correspondem a cada classe mapeada antes de calcular as atribuições, garantindo estabilidade mesmo em modelos distilados ou quantizados.

3. Contribuições Principais

1. Atribuição Distribucional: Introduz o uso de JSD para medir a importância dos recursos baseada na mudança na distribuição de confiança do modelo, oferecendo uma visão mais completa do que apenas a mudança de rótulo.
2. Integridade Semântica: Implementa o mascaramento no nível de campos chave:valor, resolvendo o problema de sintaxe quebrada e alucinações comuns em métodos de tokenização padrão aplicados a dados tabulares.
3. Validação Empírica: Demonstra que o TabSHAP isola recursos diagnósticos críticos com uma fidelidade significativamente superior a baselines aleatórios e proxies baseados em XGBoost.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados Adult Income (Renda) e Heart Disease (Doença Cardíaca), utilizando o modelo DeepSeek-R1-Distill-Llama-8B fine-tuned com QLoRA.

• Curvas de Fidelidade (Deletion Curves): Ao remover recursos na ordem de importância definida pelo TabSHAP, observa-se uma queda acentuada e rápida na confiança do modelo (probabilidade da classe prevista). Isso confirma que o método identifica os recursos que realmente "dirigem" a decisão do modelo.
• Comparação com XGBoost:
  • Existe uma correlação moderada (Spearman $\rho \approx 0.65$) entre as classificações globais do TabSHAP e do TreeSHAP (XGBoost), indicando que ambos capturam sinais causais fundamentais.
  • No entanto, o LLM demonstra um viés semântico, atribuindo importância desproporcionalmente maior a recursos ricos em texto (ex: Ocupação, Educação) em comparação com o XGBoost, que prioriza divisões numéricas precisas (ex: Horas por semana). Isso revela que os LLMs tabulares resolvem tarefas explorando priores semânticos, uma nuance oculta por proxies lineares.
• Estudo de Ablação de Métricas: A comparação entre JSD, Divergência de Kullback-Leibler (KL) e Distância L1 mostrou que o JSD oferece uma medida robusta para a fidelidade da atribuição neste contexto.

5. Significado e Conclusão

O TabSHAP preenche uma lacuna crítica na confiança de modelos de IA, permitindo a implantação responsável de LLMs em domínios de alto risco. Ao fornecer atribuições fiéis e específicas de instância, ele permite que profissionais:

• Identifiquem vieses nos modelos.
• Validem a lógica de domínio.
• Construam confiança em sistemas automatizados.

O trabalho destaca que, embora os LLMs possam superar modelos tradicionais em certos cenários tabulares, sua "caixa preta" exige ferramentas de interpretabilidade adaptadas à sua arquitetura generativa e à natureza semântica dos dados tabulares serializados, em vez de simplesmente aplicar métodos projetados para NLP puro ou modelos discriminativos clássicos.