iBERT: Interpretable Embeddings via Sense Decomposition

Resumo Técnico: iBERT: Embeddings Interpretáveis via Decomposição de Sentidos

Declaração do Problema
Codificadores neurais atuais, como SBERT e SimCSE, produzem representações vetoriais densas que se destacam na recuperação semântica, mas carecem de transparência. Esses modelos não oferecem um mecanismo claro para controlar ou interpretar como o estilo e o significado são codificados, limitando sua confiabilidade em domínios que exigem transparência representacional, como verificação de autoria, geração com controle de tom e moderação estilística. Métodos de interpretabilidade existentes são frequentemente post-hoc (ex: sondagem, mapas de saliência) e aplicados a representações que não foram projetadas para interpretabilidade, resultando em explicações incompletas ou não fiéis. Além disso, o aprendizado de representação estilística anterior frequentemente depende de supervisão por procuração (ex: identidade de autor), resultando em embeddings emaranhados onde conteúdo e estilo estão inextricavelmente misturados. O artigo questiona: Podemos projetar um codificador onde as representações semânticas e estilísticas sejam tornadas explícitas e controláveis dentro do espaço de embedding por design, em vez de via análise post-hoc?

Metodologia
Os autores propõem o iBERT (interpretable-BERT), uma arquitetura de codificador projetada para produzir embeddings inerentemente interpretáveis e controláveis.

• Arquitetura: O iBERT codifica cada token de entrada como uma mistura esparsa e não negativa sobre $k$ vetores de sentido independentes de contexto. Diferente dos embeddings densos padrão, o modelo decompõe as representações de tokens em $k$ "sentidos" distintos (ex: $k=8$ nos experimentos).
  • Codificação de Token: Um token $x_i$ é mapeado para um embedding padrão, sendo então projetado em $k$ sentidos. Um codificador Transformer produz estados contextuais, que são projetados em consultas (queries) e chaves (keys) específicas de cada sentido para computar pesos de mistura ($\alpha_{\ell,i,j}$). A representação final do token $o_i$ é uma mistura convexa desses vetores de sentido independentes de contexto.
  • Agrupamento de Sentença (Sentence Pooling): Para gerar embeddings de sentença, o modelo aplica um agrupamento estruturado sobre as ativações de sentido ao nível de token. O artigo define três variantes:
    • iBERT-v1 (Mean Pooling): Média uniforme de todas as representações de tokens.
    • iBERT-v2 (Top-Sense Pooling): Identifica o sentido dominante para uma sequência e retém apenas esse sentido em todos os tokens (seleção rígida/hard selection).
    • iBERT-v3 (Softmax Blend): Interpola entre v1 e v2 usando um parâmetro de temperatura $\tau$ para controlar a nitidez da seleção de sentido (mistura suave/soft blending).
• Pipeline de Treinamento:
  • Estágio 0 (Pré-treinamento MLM): O iBERT é pré-treinado do zero em 5% do corpus FineWeb (750B de tokens) usando Modelagem de Linguagem Mascarada (MLM) para instanciar vetores de sentido significativos. Isso resulta em um codificador de 171M de parâmetros.
  • Estágio 1 (Aprendizado de Representação de Estilo): O modelo é ajustado (fine-tuned) usando triplas contrastivas ($\langle s, s^+, s^- \rangle$) visando variação estilística. Os dados de treinamento incluem triplas sintéticas do StyleSynth (Patel et al., 2025) com variação lexical/sintática controlada e triplas rotuladas por autores de Wegmann et al. (2022). A perda InfoNCE é usada para incentivar a proximidade entre entradas estilisticamente similares enquanto afasta as dissimilar.
• Baselines: Para garantir uma comparação justa, os autores treinam um modelo BERT-base padrão do zero nos mesmos dados e o ajustam com os mesmos objetivos contrastivos (criando BERT-SD, BERT-WG e BERT-WG+SD) para servir como baselines densos.

Principais Contribuições

1. Arquitetura iBERT: A introdução de um codificador com representações controláveis e decomponíveis que produzem embeddings de token e de sentença interpretáveis por design.
2. Desempenho: Demonstração de forte desempenho através de três benchmarks (STEL, SoC e PAN), alcançando até +8% de ganhos em Eficácia de Representação de Estilo (STEL) sobre os baselines densos, mantendo um desempenho competitivo em verificação de autoria.
3. Interpretabilidade Inovadora: A capacidade de sondar vetores de sentido para traços estilísticos específicos, ablar sentidos para identificar atribuição e editar embeddings para transferência de estilo controlada. O artigo destaca que atributos de estilo específicos (ex: uso de emojis, sarcasmo, escolhas lexicais) são atribuídos a vetores de sentido específicos.

Resultos

• STEL (Eficácia de Representação de Estilo): Os modelos iBERT superam significativamente os modelos BERT. Sob supervisão direta de estilo (StyleSynth), o iBERT-v3-1 alcançou 38,3% de STEL (128 tokens), um ganho de +6,7 pontos sobre o baseline BERT. As variantes iBERT-v3 (mistura suave) geralmente superaram a seleção rígida iBERT-v2, sugerindo que a ponderação suave de sentidos preenche a lacuna entre a mistura uniforme e a esparsidade estrita.
• SoC (Estilo-ou-Conteúdo): O iBERT-v3-1 alcançou a maior separabilidade de polaridade estilística (92,8% de acurácia), demonstrando que o modelo pode preservar a sensibilidade de polaridade enquanto mantém a interpretabilidade.
• PAN (Verificação de Autoria): Como uma tarefa de estilo por procuração, as variantes iBERT igualaram ou superaram ligeiramente o BERT em entradas de 128 tokens. No entanto, em entradas de 512 tokens, o BERT superou ligeiramente o iBERT (61,92% vs. 61,07%), provavelmente porque o acoplamento estreito de características semânticas e estilísticas do BERT beneficia mais o contexto estendido. O iBERT manteve um desempenho competitivo mesmo quando a supervisão era ruidosa (identidade do autor apenas), embora tenha tido mais dificuldade que o BERT quando o estilo e o conteúdo estavam fortemente emaranhados sem rótulos de estilo explícitos.
• Análise de Interpretabilidade: A sondagem revelou que sentidos individuais se especializam em distintos clusters estilísticos (ex: o Sentido $\ell=2$ alinha-se com o tom afetivo como o sarcasmo; $\ell=0$ com marcadores superficiais como emojis). Estudos de ablação confirmaram que remover um sentido alinhado ao estilo reduziu drasticamente a separabilidade daquele estilo específico (até 66% de redução de distância) enquanto minimamente afetava estilos não relacionados, validando a localidade das edições.

Significância e Alegações
O artigo afirma que o iBERT representa uma mudança da interpretabilidade post-hoc para a interpretabilidade fundamentada na arquitetura. Por design, o iBERT decompõe sinais discriminativos (sejam semânticos ou estilísticos) em vetores de sentido modulares.

• Modularidade: O modelo permite edições direcionadas no espaço de embedding (ex: mudar formalidade ou remover emojis) sem interromper atributos não relacionados, um feito difícil em codificadores densos.
• Generalização: Embora avaliado em tarefas de estilo, o iBERT não se limita à modelagem de estilo. Sua modularidade estrutural é projetada para decompor interpretavelmente quaisquer sinais discriminativos presentes nos dados, permitindo a generalização mesmo quando a supervisão mistura fatores semânticos e estilísticos.
• Trade-offs: Os autores reconhecem um compromisso (tradeoff): a estrutura modular pode levar a leves lacunas de desempenho em comparação com codificadores densos em tarefas que exigem integração contextual profunda (ex: deriva semântica de longo formato). Além disso, a especialização de sentido é sensível ao comprimento da sequência, e o trabalho atual foca em inglês.

Os autores concluem que o iBERT oferece um passo em direção a modelos de embedding que não são apenas poderosos, mas inerentemente compreensíveis, servindo como um backbone viável para pipelines de NLP transparentes e modulares.