💻 computer science

Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations

Este artigo apresenta a Regularização de Atribuição Latente (LAR), um método de tempo de treinamento que impõe consistência de atribuição sob substituições de sinônimos semanticamente preservadoras, demonstrando que melhora significativamente a estabilidade de explicações baseadas em gradiente em Transformers ajustados sem comprometer a precisão do modelo, ao mesmo tempo em que estabelece que o alinhamento adequado de tokens é essencial para medir tal estabilidade com precisão.

Autores originais: Junaid Hassan

Publicado 2026-09-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junaid Hassan

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, uma forma comum de entender como um computador toma uma decisão é observar em quais partes da entrada ele prestou mais atenção. Imagine uma máquina lendo uma frase e decidindo se ela é feliz ou triste; pesquisadores podem gerar um mapa mostrando quais palavras o modelo considerou mais importantes para esse julgamento. Esses mapas, conhecidos como atribuições de características, são cada vez mais usados para explicar as decisões da IA para as pessoas. No entanto, um padrão preocupante surgiu: se você alterar ligeiramente a frase substituindo uma palavra por um sinônimo que significa a mesma coisa, o mapa frequentemente muda completamente. O computador pode de repente apontar para uma palavra diferente como a razão de sua decisão, embora o significado da frase e a resposta final não tenham mudado. Isso faz com que a explicação pareça pouco confiável, como se a IA fosse não confiável ou confusa, quando, na realidade, a mudança pode ser uma ilusão criada pela forma como o computador lê o texto.

Um novo estudo do pesquisador independente Junaid Hassan investiga este problema, revelando que grande parte da aparente instabilidade é, na verdade, um erro de medição causado pela forma como os computadores decompõem as palavras. Os modelos de linguagem modernos não leem palavras inteiras como os humanos; em vez disso, eles fatiam o texto em pedaços menores chamados tokens de subpalavras. Quando uma única palavra é substituída por um sinônimo, o número desses pequenos pedaços pode mudar, deslocando a posição de cada um dos tokens que os seguem. Se os pesquisadores compararem as pontuações de importância das palavras com base em sua posição na lista, muitas vezes estarão comparando coisas inteiramente erradas, como comparar a primeira página de um livro com a segunda página de outro. O pesquisador desenvolveu um método para corrigir isso ao combinar as palavras com base em sua identidade real, em vez de sua posição, e descobriu que a estabilidade dessas explicações era muito melhor do que se pensava anteriormente.

Baseando-se nesta forma corrigida de medição, o estudo introduz uma nova técnica de treinamento chamada Regularização de Atribuição Latente. Este método ensina o modelo de IA a manter seus mapas de explicação consistentes, mesmo quando a entrada de texto é levemente alterada com sinônimos. Durante o processo de treinamento, o modelo recebe uma frase e uma versão levemente alterada dessa mesma frase, e é recompensado se as pontuações de importância para as palavras inalteradas permanecerem semelhantes em ambas as versões. Isso é feito juntamente com a tarefa padrão de aprender a classificar o sentimento do texto corretamente. O objetivo não é apenas obter a resposta certa, mas garantir que o raciocínio por trás dessa resposta permaneça constante quando a redação muda.

O pesquisador testou essa abordagem usando um modelo chamado DistilBERT em um conjunto de dados de críticas de filmes. Os experimentos foram realizados em duas escalas diferentes: um teste menor com 1.500 exemplos e um teste maior e mais realista com 20.000 exemplos. Em ambos os casos, o modelo foi treinado com e sem a nova técnica de consistência. Os resultados mostraram que os modelos treinados com a técnica de consistência produziram explicações significativamente mais estáveis. Quando o texto era alterado com quantidades leves, médias ou intensas de substituições de sinônimos, as explicações permaneciam consistentes com muito mais frequência do que aquelas dos modelos treinados sem a técnica. Por exemplo, no teste maior, a melhoria na estabilidade cresceu conforme as mudanças no texto se tornavam mais difíceis, mostrando um benefício claro sob condições mais severas.

Crucialmente, essa melhoria na estabilidade não veio à custa da capacidade do modelo de compreender o texto. Os modelos treinados com a nova técnica alcançaram a mesma alta precisão na classificação de críticas de filmes que os modelos treinados sem ela. No experimento maior, ambos os grupos atingiram uma precisão de cerca de 82 por cento, provando que o modelo poderia aprender a ser mais consistente sem esquecer como realizar seu trabalho principal. O estudo também confirmou que a descoberta inicial de instabilidade extrema era, de fato, um artefato do método de medição; uma vez que o alinhamento foi corrigido, a estabilidade base já era alta, mas o novo método de treinamento a elevou ainda mais.

As descobertas sugerem que, para desenvolvedores que constroem sistemas de IA que explicam suas decisões aos usuários, existe uma maneira prática de tornar essas explicações mais confiáveis. Ao adicionar essa verificação de consistência durante a fase de treinamento, a IA pode aprender a ignorar o ruído causado por pequenas mudanças na redação e focar no significado real. O pesquisador observa que, embora este trabalho tenha sido feito em um tipo específico de modelo e uma única tarefa, o método oferece uma adição de baixo risco ao treinamento padrão que pode tornar as explicações da IA mais dignas de confiança para aplicações do mundo real. O estudo conclui que a instabilidade frequentemente atribuída aos próprios modelos de IA pode ter sido um truque da medição e que, com as ferramentas e o treinamento certos, podemos construir sistemas que explicam a si mesmos com maior constância.

Resumo Técnico: Regularização de Atribuição Latente (LAR)

Declaração do Problema

As atribuições de características baseadas em gradiente em modelos Transformer ajustados (fine-tuned) frequentemente exibem alta instabilidade quando os inputs sofrem pequenas perturbações que preservam o sentido semântico (ex: substituições de sinônimos). Se uma explicação muda drasticamente enquanto a predição do modelo e o significado do input permanecem constantes, a explicação é pouco confiável.

O artigo identifica um artefato de medição crítico e anteriormente negligenciado neste domínio: o desvio de tokenização (tokenization drift). A tokenização de subpalavras padrão (WordPiece) significa que substituir uma única palavra pode alterar o número de tokens de subpalavras, deslocando a posição de todos os tokens subsequentes. Avaliar a estabilidade da atribuição comparando índices posicionais brutos (como feito em trabalhos anteriores como Yin et al., 2022) causa um desalinhamento severo. O autor demonstra que essa abordagem direta colapsa as correlações de estabilidade de um valor plausível de $\approx 0,90$ para tão baixo quanto $\approx 0,03$ , criando uma falsa impressão de instabilidade total independente do comportamento real do modelo.

Metodologia

1. Protocolo de Avaliação Corrigido

Para abordar o artefato de medição, o autor introduz um procedimento de alinhamento exato de tokens:

Alinhamento: Em vez de comparar tokens por posição, o algoritmo combina tokens nas sequências original e perturbada por sua identidade exata de string, preservando a ordem.
Escopo: A métrica calcula a correlação de postos de Spearman apenas sobre os tokens de "fundo" (aqueles não alterados pela substituição). Palavras substituídas são excluídas do cálculo de correlação por design.
Requisito: Uma amostra contribui para a estatística apenas se pelo menos três tokens forem combinados com sucesso.

2. Regularização de Atribuição Latente (LAR)

Com base na avaliação corrigida, o autor adapta uma estratégia de regularização de tempo de treinamento para PLN:

Objetivo: A perda de treinamento combina a entropia cruzada padrão ( $L_{CE}$ ) com uma penalidade de similaridade de cosseno entre as atribuições de características do input original ( $x$ ) e um input perturbado ( $\tilde{x}$ ).
$L_{LAR} = L_{CE}(f(x), y) + \lambda \left(1 - \cos(a(x), a(\tilde{x}))\right)$
Método de Atribuição: O estudo utiliza a norma $\ell_2$ do gradiente de entrada ( $\nabla_{e_i} \log_y(f(e))$ ) em vez de Integrated Gradients (IG), escolhida pela simplicidade computacional dentro do loop de treinamento de duplo gradiente (double-backward).
Perturbação: Os inputs são perturbados pela substituição de adjetivos e advérbios por sinônimos do WordNet. Diferente de alguns métodos anteriores de geração contrastiva, este processo não filtra para preservação de confiança do modelo.
Assimetria de Treinamento vs. Avaliação: Enquanto a avaliação usa o alinhamento por identidade de tokens, a perda de treinamento compara atribuições posicionalmente (truncando para a sequência mais curta). Isso é necessário porque o alinhamento baseado em identidade é uma operação discreta incompatível com a computação de duplo gradiente diferenciável necessária para cálculos de gradiente-de-gradiente.

3. Configuração Experimental

Modelo: DistilBERT (66M parâmetros), inicializado a partir de um checkpoint não ajustado para a tarefa (cabeça de classificação inicializada aleatoriamente) para garantir aprendizado genuíno em vez de re-memorização.
Tarefa: Classificação de sentimento binário no SST-2.
Escalas: Os experimentos foram realizados em duas escalas:
- Pequena: 1.500 exemplos, 1 época.
- Grande: 20.000 exemplos, 2 épocas (atingindo $\approx 82\%$ de acurácia de validação).
Controle: Um controle correspondente de apenas entropia cruzada ( $\lambda=0$ ) usando as mesmas sementes, dados e configurações de otimizador.
Forças de Perturbação: Avaliado em níveis Leve (15%), Médio (35%) e Pesado (60%) de taxa de substituição.

Resultados Principais

1. O Artefato de Alinhamento de Tokens

Em experimentos preliminares sem regularização, o alinhamento posicional direto resultou em uma correlação de estabilidade de $\bar{\rho} \approx 0,035$ . Aplicar a correção de alinhamento exato de tokens ao mesmo dado e modelo elevou a estabilidade basal para $\bar{\rho} \approx 0,90$ . Isso confirma que a aparente instabilidade em literatura anterior era amplamente um artefato de medição.

2. Melhorias de Estabilidade com LAR

Através de ambas as escalas de treinamento e 10 sementes independentes, o LAR ( $\lambda=0,5$ ) produziu melhorias estatisticamente significativas na estabilidade da atribuição em comparação ao controle:

Escala Pequena: Melhorias significativas em todas as forças de perturbação (teste t pareado $p \le 0,012$ ).
Escala Grande: Melhorias significativas em todas as forças de perturbação (teste t pareado $p = 0,002\text{--}0,004$ ; Wilcoxon $p = 0,004\text{--}0,006$ ).
Magnitude: A magnitude da melhoria cresceu com a severidade da perturbação (ex: $+0,026$ para perturbações leves, $+0,036$ para perturbações pesadas no cenário de grande escala).
Consistência: 9 de 10 sementes concordaram com a direção da melhoria em cada força de perturbação.

3. Trocas de Acurácia (Trade-offs)

Crucialmente, os ganhos de estabilidade vieram sem degradação mensurável de acurácia:

Escala Pequena: Controle (73,2%) vs. LAR (73,3%).
Escala Grande: Controle (81,6%) vs. LAR (82,3%, $p=0,42$ ).

Significância e Alegações

O artigo posiciona suas contribuições na interseção da robustez de atribuição (previamente estudada em visão sob ataques adversários) e estabilidade de PLN.

Correção de Artefatos de Medição: A principal alegação é que as avaliações anteriores de estabilidade de atribuição em PLN eram fundamentalmente falhas devido ao desvio de tokenização. O autor fornece uma correção necessária (alinhamento exato de tokens) para permitir comparações confiáveis.
Primeira Aplicação de Regularização de Consistência em PLN: O autor faz a ponte entre a regularização de atribuição baseada em visão (ex: Wang e Kong, 2022) e o PLN. Eles adaptam o objetivo de similaridade de cosseno para o ajuste fino de Transformers sob perturbações que preservam o sentido, em vez de ruído adversário.
Objetivo de Treinamento Direto: Diferente de trabalhos anteriores que usavam métricas de estabilidade apenas para avaliação post-hoc, este artigo usa a métrica de estabilidade (especificamente a estabilidade por substituição de sinônimos introduzida por Yin et al., 2022) como um objetivo de treinamento direto.
Implicação Prática: Para profissionais que implantam Transformers ajustados onde as explicações são visíveis para usuários finais, o LAR oferece uma adição de baixo risco ao ajuste fino padrão. Ele fornece melhorias de estabilidade estatisticamente robustas, particularmente sob perturbações semânticas significativas, sem sacrificar o desempenho de classificação.

Limitações e Escopo

O autor nota explicitamente as seguintes restrições:

Tarefa/Arquitetura Única: Os resultados são específicos para SST-2 e DistilBERT.
Método de Atribuição: O estudo utiliza normas de gradiente de entrada, não Integrated Gradients (IG).
Assimetria de Treinamento/Avaliação: O erro de treinamento usa alinhamento posicional enquanto a avaliação usa alinhamento de identidade; fechar essa lacuna é uma direção para trabalhos futuros.
Geração de Perturbação: A substituição de sinônimos não filtra para preservação de confiança do modelo, diferindo do protocolo original da métrica de estabilidade.
Convergência: Os experimentos de grande escala atingiram $\approx 82\%$ de acurácia, o que está abaixo de um ajuste fino totalmente convergido para SST-2 ( $\approx 90\%+$ ), deixando aberta a possibilidade de comportamentos diferentes sob convergência total.