Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

Resumen Técnico: Sondeo de Inferencias de Identidad Colombiana Latente en Qwen2.5-7B con Autoencoders de Lenguaje Natural

Planteamiento del Problema
Se sabe que los modelos de lenguaje extensos (LLMs) infieren atributos demográficos —como nacionalidad, dialecto y estatus socioeconómico— a partir de pistas lingüísticas sutiles, incluso cuando estos atributos no se mencionan explícitamente. Aunque los modelos ajustados por instrucciones suelen negarse a responder consultas demográficas explícitas, continúan condicionando su generación basándose en atributos inferidos, lo que conduce a salidas sesgadas. Este fenómeno es particularmente agudo para las variedades del español subrepresentadas; el español colombiano, por ejemplo, obtiene puntuaciones significativamente más bajas en las evaluaciones de reconocimiento en comparación con el español peninsular, una disparidad atribuida a la composición de los datos de entrenamiento más que al volumen de recursos digitales.

A pesar de la evidencia de que ocurren inferencias demográficas, existe una falta de investigación que inspeccione qué representan los modelos internamente antes de verbalizar un resultado. Específicamente, se desconoce si los modelos infieren la identidad colombiana a partir de pistas implícitas de la misma manera en que se ha demostrado que infieren otras nacionalidades (por ejemplo, la rusa) antes de que aparezca cualquier evidencia léxica en el prompt. Este estudio aborda la brecha entre los estudios de sondaje lineal (que muestran que la inferencia demográfica existe) y los estudios de auditoría de sesgo (que muestran el daño de dicha inferencia), con el objetivo de localizar cuándo emerge una inferencia de identidad colombiana a partir de pistas indirectas utilizando un enfoque no supervisado y libre de entrenamiento.

Metodología
Los autores emplean Autoencoders de Lenguaje Natural (NLA), específicamente el par de código abierto publicado por Fraser-Taliente et al. [2026], para verbalizar las activaciones del flujo residual (residual-stream). El estudio utiliza el modelo Qwen2.5-7B-Instruct.

• Diseño de Datos: El conjunto de datos consta de 30 prompts dispuestos en 15 pares emparejados de español-inglés. Estos se categorizan en tres niveles de explicitud ($n=5$ por nivel):
  • Explícito: Contiene marcadores colombianos inequívocos (control positivo).
  • Implícito: Contiene exactamente una pista sutil (análogo al caso "vodka" $\to$ "ruso" en trabajos previos).
  • Neutro: Emparejado temáticamente pero carente de marcadores nacionales (control negativo).
• Extracción de Activaciones: Los autores extraen las activaciones del flujo residual de la capa 20 ($\ell=20$), la profundidad para la cual el NLA fue entrenado. Para cada prompt, la secuencia de tokens se divide en cuatro cuartiles posicionales contiguos. Se selecciona el vector de activación del último token de cada cuartil ($q_1, q_2, q_3, q_4$), lo que genera cuatro vectores distintos por prompt.
• Verbalización: Cada vector de activación se pasa una vez al verbalizador (AV) del NLA para generar una explicación en lenguaje natural ($z_k$). Esto resulta en cuatro explicaciones por prompt.
• Análisis: Las 120 explicaciones resultantes (30 prompts $\times$ 4 cuartiles) son codificadas por un LLM (Claude Sonnet) para detectar menciones de nacionalidad, estatus socioeconómico y estereotipos. La codificación requiere estrictamente evidencia textual explícita y citas textuales. Para distinguir entre la confabulación de nacionalidad general y la identidad colombiana específica, los autores etiquetan las menciones que nombran específicamente a Colombia o metónimos inequívocos (por ejemplo, Bogotá, TransMilenio).
• Enfoque Estadístico: Dado el pequeño tamaño de la muestra ($n=5$ por celda), el estudio reporta tasas descriptivas con intervalos de puntuación de Wilson y utiliza la prueba exacta de Fisher para las comparaciones implícito-neutro. Evita imputar casos de "nunca ocurrencia" en las distribuciones de inicio, tratando su ausencia como datos informativos.

Resultos Clave

• Emergencia de la Inferencia Latente: En el grupo Implícito, la tasa de menciones de nacionalidad en las explicaciones del AV aumenta de forma monótona a través de los cuartiles (de 0.10 en Q1 a 0.78 en Q4), lo que respalda la hipótesis de la acumulación de contexto.
• Hallazgos Específicos de Colombia: Al restringir el análisis a menciones específicas de Colombia (excluyendo confabulaciones de España, Turquía o Canadá), el grupo de control Neutro permanece en 0.00 en todos los cuartiles. En contraste, el grupo Implícito muestra un aumento en las menciones específicas de Colombia comenzando desde el Q2 (0.10) e incrementándose a través del Q4.
• Temporalidad de la Representación: Aunque el cuartil medio de la primera mención es comparable entre grupos (aproximadamente Q3) para los prompts que activan una mención, la frecuencia de activar una mención difiere significamente. El grupo Explícito activa una mención en 10/10 casos, el Implícito en 8/10 y el Neutro en 6/10.
• Significancia Estadística: Una prueba exacta de Fisher que compara los grupos Implícito vs. Neutro revela una diferencia estadísticamente significativa solo en el último cuartil (Q4, $p=0.0223$). Los autores interpretan esto como evidencia direccional en lugar de un efecto confirmatorio debido al pequeño tamaño de la muestra y la falta de corrección por comparaciones múltiples.
• Divergencia Cross-Lingual: El análisis cualitativo de los prompts neutros revela que las representaciones internas del modelo divergen según el idioma. Los prompts en español suelen activar supuestos de vulnerabilidad migratoria o contextos locales (ej. EPS, TransMilenio), mientras que los prompts en inglés tienden a internacionalizar el contexto (ej. desplazándose hacia equivalentes canadienses o estadounidenses) o a diluir referencias culturales específicas en marcos globales genéricos.

Contribuciones y Reivindicaciones
El artículo realiza las siguientes modestas afirmaciones respecto a sus contribuciones:

1. Aplicación Metodológica: Demuestra la aplicación de Autoencoders de Lenguaje Natural para sondear inferencias latentes de nacionalidad en variedades del español, extendiendo trabajos previos que se centraron en otros idiomas.
2. Evidencia de Inferencia No Verbalizada: Proporciona evidencia direccional de que Qwen2.5-7B-Instruct representa internamente la identidad colombiana a partir de una única pista léxica implícita antes de que dicha identidad sea verbalizada en la salida del modelo.
3. Identificación de Modos de Falla: El estudio destaca un modo de falla específico de los NLA donde confabulan nacionalidades plausibles pero contextualmente incorrectas (ej. sustituir Colombia por España). Los autores proponen un mecanismo de filtrado específico (verificar metónimos específicos de Colombia) para mitigar esto en futuros sondeos de identidad regional.
4. Sesgo Dependiente del Idioma: Ofrece evidencia cualitativa de que la contextualización interna del modelo de los prompts neutros depende fuertemente del idioma, donde el español activa sesgos locales/migratorios y el inglés activa normalizaciones internacionalizadas o centradas en EE. UU.

Significancia
Los autores posicionan este trabajo como un estudio piloto que conecta la interpretabilidad a nivel de activación con la evaluación de sesgos para variedades del español subrepresentadas. No pretenden haber probado un efecto definitivo con potencia estadística, sino haber establecido una vía metodológica para detectar cuándo y cómo emergen las inferencias latentes. La significancia radica en la observación de que el sesgo persiste en las representaciones contextualizadas incluso cuando las consultas demográficas explícitas son rechazadas, y que estas inferencias pueden localizarse en capas y cuartiles posicionales específicos utilizando verbalizadores no supervisados. Los autores concluyen que el siguiente paso necesario es replicar este diseño con muestras más grandes y a través de múltiples capas del flujo residual para determinar si la separación observada en el último cuartil es una propiedad de la profundidad probada o un fenómeno general.