Indic-TunedLens: Interpreting Multilingual Models in Indian Languages

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) multilíngues estão sendo cada vez mais implantados em regiões linguisticamente diversas, como a Índia. No entanto, as ferramentas atuais de interpretabilidade (como o Logit Lens e o Tuned Lens padrão) são predominantemente projetadas para o inglês.

O artigo identifica três desafios principais:

• Viés de Espaço Latente: Mesmo quando processam idiomas não ingleses, os LLMs tendem a operar em um espaço latente centrado no inglês. Isso significa que o raciocínio semântico ocorre primeiro em representações inglesas antes de ser traduzido, o que distorce a interpretação direta.
• Diversidade Linguística: As línguas indianas possuem estruturas muito diferentes do inglês, incluindo morfologia rica (flexão complexa), ordens de palavras flexíveis e esquemas de tokenização únicos (devido a scripts como Devanagari, Gurmukhi, etc.).
• Falha de Generalização: As abordagens de interpretabilidade calibradas para o inglês falham ao tentar decodificar estados intermediários de línguas de baixo recurso e morfologicamente ricas, resultando em previsões instáveis e alinhamento pobre com o vocabulário alvo.

2. Metodologia: Indic-TunedLens

Os autores propõem o Indic-TunedLens, um novo framework de interpretabilidade adaptado especificamente para línguas indianas. A abordagem baseia-se nos seguintes pilares:

• Transformações Afins Compartilhadas: Diferente do Logit Lens padrão que decodifica diretamente os estados ocultos usando a matriz de desincorporação (unembedding matrix) pré-treinada, o Indic-TunedLens aprende uma transformação afim específica para cada camada do modelo.
• Mecanismo de Alinhamento: Para cada camada intermediária $n$, o modelo aplica uma transformação linear (matriz $M_n$) e um vetor de viés ($b_n$) ao estado oculto $h_n$. O objetivo é alinhar esse estado transformado com a distribuição de probabilidade de saída final do modelo.
• Função de Perda: O treinamento minimiza a Divergência de Kullback-Leibler (KL) entre a distribuição de probabilidade do token final (gerada pela camada de saída do modelo base) e a distribuição gerada pela projeção do estado intermediário.
  $$\min_{M_n, b_n} \mathbb{E}_{h_n} [ D_{KL}(p_{final}(x) \parallel \text{Indic-TunedLens}_n(h_n)) ]$$
• Dados e Modelo Base: O framework foi treinado e avaliado no modelo Sarvam-1 (1 bilhão de parâmetros) utilizando o conjunto de dados Sangraha para treinamento e uma versão multilíngue do benchmark MMLU para avaliação.

3. Contribuições Principais

1. Identificação do Problema de Projeção: O trabalho demonstra que a falha de interpretabilidade em línguas indianas é fundamentalmente um problema de projeção (mismatch entre o espaço de representação interno e o espaço de vocabulário de saída) e não apenas uma falta de dados.
2. Novo Framework Específico: Introdução do Indic-TunedLens, que aprende transformações afins compartilhadas adaptadas aos scripts e estruturas morfológicas das línguas indianas, permitindo uma decodificação mais fiel dos estados ocultos.
3. Avaliação Abrangente: Realização de uma avaliação detalhada em 10 línguas indianas (Bengali, Inglês, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Tamil e Telugu), incluindo a análise de transferência cruzada para o Punjabi (apenas no treinamento).
4. Insights sobre Dinâmica de Camadas: Revelação de como a codificação semântica ocorre camada por camada em modelos multilíngues, mostrando que a análise deve ser sensível à família linguística.

4. Resultados Experimentais

A avaliação comparativa contra o Logit Lens padrão e o Tuned Lens inglês mostrou melhorias significativas:

• Redução de Entropia e Consolidação de Informação: Enquanto o Tuned Lens padrão exibe entropia alta e irregular (indicando incerteza e falta de alinhamento) nas camadas intermediárias para línguas indianas, o Indic-TunedLens mostra uma redução suave e sistemática da entropia, indicando uma consolidação progressiva da informação alinhada à estrutura linguística indiana.
• Desempenho em Camadas Iniciais: O Indic-TunedLens permite a interpretação significativa a partir da camada 1. Em contraste, o método padrão falha até a camada 20.
  • Exemplo: No inglês, a precisão na camada 1 foi de 0,13; em Telugu, 0,11; e em Gujarati, 0,10. O método padrão permaneceu abaixo de 0,02 na maioria das línguas indianas nas camadas iniciais.
• Padrões Específicos por Língua: As melhorias variam conforme a complexidade morfológica. Línguas como Bengali, Hindi e Nepali mostraram ganhos mais fortes nas camadas iniciais (1-4), correspondendo à fase de análise morfológica, enquanto línguas com estruturas mais isoladas mostraram padrões diferentes.
• Melhoria na Classificação (Ranking): O Indic-TunedLens posiciona os tokens corretos em ranks mais altos (média de 3,9 a 4,7 nas camadas intermediárias) em comparação com o Logit Lens (que manteve ranks entre 4-5 ou piores), demonstrando maior confiança nas previsões intermediárias.
• Precisão por Posição de Token: O framework capturou com sucesso os picos de precisão nas posições onde ocorrem as respostas nas questões de múltipla escolha, adaptando-se às variações de tokenização e complexidade morfológica de cada língua.

5. Significado e Implicações

O trabalho tem implicações profundas para o desenvolvimento de IA responsável e equitativa:

• Fim da Neutralidade Linguística na Interpretabilidade: O estudo prova que métodos de interpretabilidade não podem ser "agnósticos à língua". Técnicas que funcionam para o inglês falham em línguas morfologicamente ricas.
• Ferramenta para IA Equitativa: Ao permitir que pesquisadores entendam como os modelos processam línguas indianas em tempo real, o Indic-TunedLens facilita a identificação de vieses e a melhoria de aplicações de NLP em regiões sub-representadas.
• Template Metodológico: O framework serve como um modelo para desenvolver ferramentas de interpretabilidade para outras famílias linguísticas ricas em morfologia além do subcontinente indiano.

Em resumo, o Indic-TunedLens preenche uma lacuna crítica na pesquisa de LLMs, fornecendo a primeira ferramenta de interpretabilidade de camada por camada validada para modelos multilíngues focados em línguas indianas, superando as limitações das abordagens centradas no inglês.