Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

Resumo Técnico: Sondagem de Inferências de Identidade Colombiana Latente em Qwen2.5-7B com Autoencoders de Linguagem Natural

Definição do Problema
Sabe-se que os grandes modelos de linguagem (LLMs) inferem atributos demográficos — como nacionalidade, dialeto e status socioeconômico — a partir de pistas linguísticas sutis, mesmo quando esses atributos não são explicitamente declarados. Embora modelos ajustados por instrução (instruction-tuned) frequentemente se recusem a responder a consultas demográficas explícitas, eles continuam a condicionar sua geração a atributos inferidos, levando a saídas enviesadas. Esse fenômeno é particularmente agudo para variedades do espanhol sub-representadas; o espanhol colombiano, por exemplo, pontua significativamente abaixo em benchmarks de reconhecimento em comparação ao espanhol peninsular, uma disparidade atribuída à composição dos dados de treinamento e não ao volume de recursos digitais.

Apesar das evidências de que inferências demográficas ocorrem, há uma carência de pesquisas que inspecionem o que os modelos representam internamente antes de verbalizarem um output. Especificamente, desconhece-se se os modelos inferem a identidade colombiana a partir de pistas implícitas da mesma forma que demonstraram inferir outras nacionalidades (ex: russa) antes de qualquer evidência lexical aparecer no prompt. Este estudo aborda a lacuna entre estudos de sondagem linear (que mostram que a inferência demográfica existe) e estudos de auditoria de viés (que mostram o dano dessa inferência), visando localizar quando uma inferência de identidade colombiana emerge de pistas indiretas usando uma abordagem não supervisionada e livre de treinamento.

Metodologia
Os autores utilizam Autoencoders de Linguagem Natural (NLA), especificamente o par de código aberto lançado por Fraser-Taliente et al. [2026], para verbalizar ativações do fluxo residual (residual-stream). O estudo utiliza o modelo Qwen2.5-7B-Instruct.

• Design de Dados: O conjunto de dados consiste em 30 prompts organizados em 15 pares espanhol-inglês correspondentes. Estes são categorizados em três níveis de explicidade ($n=5$ por nível):
  • Explícito: Contém marcadores colombianos inequívocos (controle positivo).
  • Implícito: Contém exatamente uma pista sutil (análogo ao caso "vodka" $\to$ "Rússia" em trabalhos anteriores).
  • Neutro: Coerente tematicamente, mas desprovido de marcadores nacionais (controle negativo).
• Extração de Ativação: Os autores extraem ativações do fluxo residual da camada 20 ($\ell=20$), a profundidade na qual o NLA foi treinado. Para cada prompt, a sequência de tokens é dividida em quatro quartis posicionais contíguos. A ativação do último token de cada quartil ($q_1, q_2, q_3, q_4$) é selecionada, gerando quatro vetores distintos por prompt.
• Verbalização: Cada vetor de ativação é passado uma vez para o verbalizador (AV) do NLA para gerar uma explicação em linguagem natural ($z_k$). Isso resulta em quatro explicações por prompt.
• Análise: As 120 explicações resultantes (30 prompts $\times$ 4 quartis) são codificadas por um LLM (Claude Sonnet) para menções de nacionalidade, status socioeconômico e estereótipos. A codificação exige estritamente evidência textual explícita e citações literais. Para distinguir entre confabulação de nacionalidade geral e identidade colombiana específica, os autores rotulam menções que nomeiam especificamente a Colômbia ou metônimos inequívocos (ex: Bogotá, TransMilenio).
• Abordagem Estatística: Dado o pequeno tamanho da amostra ($n=5$ por célula), o estudo reporta taxas descritivas com intervalos de score de Wilson e utiliza o teste exato de Fisher para comparações implícito-vs-neutro. Evita-se imputar casos de "nunca ocorrência" nas distribuições de onset, tratando sua ausência como dado informativo.

Resultados Principais

• Emergência de Inferência Latente: No grupo Implícito, a taxa de menções de nacionalidade nas explicações AV aumenta monotonicamente através dos quartis (de 0,10 em Q1 para 0,78 em Q4), apoiando a hipótese de acumulação de contexto.
• Achados Específicos sobre a Colômbia: Ao restringir a análise para menções específicas da Colômbia (excluindo confabulações de Espanha, Turquia ou Canadá), o grupo de controle Neutro permanece em 0,00 em todos os quartis. Em contraste, o grupo Implícito mostra um aumento nas menções específicas da Colômbia a partir de Q2 (0,10) e um aumento progressivo até Q4.
• Tempo de Representação: Embora o quartil médio da primeira menção seja comparável entre os grupos (aprox. Q3) para prompts que disparam uma menção, a frequência de disparo de uma menção difere significativamente. O grupo Explícito dispara uma menção em 10/10 casos, o Implícito em 8/10 e o Neutro em 6/10.
• Significância Estatística: Um teste exato de Fisher comparando os grupos Implícito vs. Neutro revela uma diferença estatisticamente significativa apenas no quartil final (Q4, $p=0,023$). Os autores interpretam isso como evidência direcional em vez de um efeito confirmatório, devido ao pequeno tamanho da amostra e à ausência de correção para múltiplas comparações.
• Divergência Cross-Lingual: A análise qualitativa de prompts neutros revela que as representações internas do modelo divergem por idioma. Prompts em espanhol frequentemente disparam suposições de vulnerabilidade migratória ou contextos locais (ex: EPS, TransMilenio), enquanto prompts em inglês tendem a internacionalizar o contexto (ex: mudando para equivalentes canadenses ou americanos) ou diluir referências culturais específicas em estruturas globais genéricas.

Contribuições e Alegações
O artigo faz as seguintes alegações modestas sobre suas contribções:

1. Aplicação Metodológica: Demonstra a aplicação de Autoencoders de Linguagem Natural para sondar inferências latentes de nacionalidade em variedades do espanhol, estendendo trabalhos anteriores que focaram em outros idiomas.
2. Evidência de Inferência Não Verbalizada: Fornece evidência direcional de que o Qwen2.5-7B-Instruct representa internamente a identidade colombiana a partir de uma única pista lexical implícita antes que essa identidade seja verbalizada no output do modelo.
3. Identificação de Modos de Falha: O estudo destaca um modo de falha específico dos NLAs onde eles confabulam nacionalidades plausíveis, mas contextualmente erradas (ex: substituindo a Colômbia pela Espanha). Os autores propõem um mecanismo de filtragem específico (verificação de metônimos específicos da Colômbia) para mitigar isso em futuras sondagens de identidade regional.
4. Viés Específico de Idioma: Oferece evidência qualitativa de que a contextualização interna do modelo para prompts neutros é fortemente dependente do idioma, com o espanhol disparando vieses locais/migratórios e o inglês disparando normalizações internacionalizadas ou centradas nos EUA.

Significância
Os autores posicionam este trabalho como um estudo piloto conectando interpretabilidade ao nível de ativação com avaliação de viés para variedades sub-representadas do espanhol. Eles não alegam ter provado um efeito definitivo e com poder estatístico, mas sim estabelecido um caminho metodológico para detectar quando e como as inferências latentes emergem. A significância reside na observação de que o viés persiste em representações contextualizadas mesmo quando consultas demográficas explícitas são recusadas, e que essas inferências podem ser localizadas em camadas e quartis posicionais específicos usando verbalizadores não supervisionados. Os autores concluem que o próximo passo necessário é replicar este design com amostras maiores e através de múltiplas camadas do fluxo residual para determinar se a separação observada no final do quartil é uma propriedade da profundidade testada ou um fenômeno geral.