💬 NLP

Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering

Este artículo demuestra que los modelos de lenguaje, particularmente aquellos adaptados para el polaco, poseen lecturas internas graduadas de la familiaridad de las entidades que son robustas al idioma del prompt y pueden ser dirigidas eficazmente para controlar los comportamientos de rechazo, aunque estas señales de pregeneración permanecen distintas de las políticas que gobiernan las decisiones finales de abstención.

Autores originales: Grzegorz Brzezinka

Publicado 2026-07-16

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Grzegorz Brzezinka

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El monólogo interior de un robot: ¿Cuándo sabe que no sabe?

Imagina que le haces una pregunta a un robot muy inteligente. A veces, el robot sabe la respuesta y habla con confianza. Otras veces, podría inventarse una historia porque en realidad no sabe la verdad, un error que llamamos "alucinación". Los científicos se han preguntado durante mucho tiempo: ¿Puede el robot distinguir entre "sé esto" y "estoy adivinando" incluso antes de empezar a escribir?

Para entender esto, necesitamos mirar dentro del cerebro del robot, que está hecho de capas de conexiones matemáticas llamadas "activaciones". Piensa en estas activaciones como las señales eléctricas en el cerebro humano cuando ves un rostro. Si ves a un amigo, la señal es fuerte y específica; si ves a un extraño, es más débil o difusa. Los investigadores han descubierto que estas señales eléctricas suelen contener un "medidor de confianza" oculto. Si se le pregunta al robot sobre algo que ha visto muchas veces en sus datos de entrenamiento, la señal se ve diferente a si se le pregunta por algo totalmente inventado. La gran pregunta es: ¿Podemos leer este medidor para evitar que el robot mienta antes de que diga una sola palabra?

El detective polaco y el medidor de "familiaridad"

Este artículo es como una historia de detectives, pero en lugar de resolver crímenes, el autor, Grzegorz Brzezinka, investiga cómo doce modelos de IA diferentes "sienten" respecto a nombres y lugares polacos. El objetivo era ver si estos modelos tienen un "medidor de familiaridad" integrado que les indique qué tan bien conocen una entidad, y si ese medidor funciona incluso cuando la pregunta se hace en un idioma diferente.

La configuración: Una biblioteca de nombres polacos
Para probar esto, el autor construyó un conjunto de pruebas especial de 1,440 entidades polacas. Imagina una biblioteca con cuatro secciones: atletas, ciudades, escritores y músicos. En cada sección, hay personas y lugares reales, que van desde superestrellas famosísimas (como el 10% superior de las páginas más vistas en Wikipedia) hasta lugareños oscuros (el 10% inferior). Crucialmente, el autor también inventó 240 nombres falsos que parecían y sonaban exactamente como nombres polacos reales, pero que no existían. Este era el grupo de control: si el robot se confunde con un nombre falso, es un mentiroso; si sabe la diferencia, es honesto.

Hallazgo 1: El medidor es un regulador, no un interruptor
El primer gran descubrimiento es que la familiaridad no es solo un interruptor de luz (Encendido/Apagado). Es un regulador de intensidad (dimmer). El estudio encontró que para los modelos adaptados específicamente al polaco (como las familias Bielik y PLLuM), la "puntuación de familiaridad" aumenta suavemente a medida que la entidad se vuelve más popular.

La analogía: Imagina una perilla de volumen. Para un cantante superfamoso, la perilla está girada al máximo. Para una banda local, está a la mitad. Para un nombre inventado, está en cero.
La sorpresa: Este efecto de "regulador" fue mucho más fuerte en los modelos adaptados al polaco que en los modelos gigantes de propósito general (como Gemma-4 o Qwen3). Aunque los modelos generales eran más grandes (tenían más "parámetros"), no tenían un mejor medidor de familiaridad. Resulta que aprender polaco específicamente era más importante para esta habilidad que simplemente hacer el modelo más grande. Los modelos adaptados al polaco mostraron una correlación clara (entre 0.28 y 0.57) entre la popularidad y su confianza interna, mientras que los otros estaban apenas por encima de cero.

Hallazgo 2: El medidor funciona a través de los idiomas
El autor luego hizo una pregunta capciosa: ¿Está este medidor leyendo las palabras polacas o la entidad real? Para probar esto, tomó una pregunta sobre un atleta polaco famoso y la hizo en inglés ("Who is...?") en lugar de polaco ("Kim jest...?").

El resultado: El medidor apenas parpadeó. Los modelos mantuvieron entre el 96% y el 101% de su precisión al cambiar de idioma. Esto sugiere que el robot no solo está reconociendo la gramática polaca; realmente está reconociendo a la persona dentro de la pregunta, independientemente del idioma utilizado para preguntar por ella.

Hallazgo 3: Podemos hackear el botón de "rechazo"
Esta es la parte más dramática de la historia. Uno de los modelos, Gemma-4-12B, tenía el hábito de decir "no lo sé" (rechazar) cuando no estaba seguro. El autor decidió ver si podían controlar este comportamiento "dirigiendo" el cerebro del robot.

El experimento: Descubrieron una dirección matemática específica en el cerebro del modelo que representaba la "familiaridad". Al añadir un pequeño empujón en esa dirección, podían forzar al robot a cambiar de opinión.
La magia:
- Si empujaban al robot para que se sintiera menos familiar con una persona famosa, la tasa de rechazo saltó del 24% al 100%. El robot de repente decidió que no sabía la respuesta, aunque sí la sabía.
- Si empujaban al robot para que se sintiera más familiar con un nombre falso, la tasa de rechazo cayó del 73% al 0%. El robot comenzó a inventar biografías con confianza para personas que no existían.
La conclusión: Esto demuestra que la señal de familiaridad no es solo una observación pasiva; es una palanca causal. Si presionas el botón de "familiaridad", la decisión del robot de hablar o callar cambia inmediatamente.

Hallazgo 4: La revisión "pre-vuelo"
Finalmente, el artículo preguntó: ¿Podemos usar este medidor para detener al robot de mentir antes de que genere una respuesta?

La comparación: El autor comparó su medidor de "un paso" (que revisa la pregunta antes de que se escriba la respuesta) contra otros métodos que esperan hasta que la respuesta termina para verificar errores.
El veredicto: El medidor de pre-vuelo fue excelente para detectar nombres falsos, superando a casi todos los demás métodos. Sin embargo, predecir si una respuesta sería factualmente errónea fue más difícil. El medidor funcionó bien para los modelos polacos, pero para el modelo que se negaba a responder (Gemma-4), los resultados fueron complicados porque el propio hábito del modelo de decir "no lo sé" alteró el conteo de errores.
El panorama general: El estudio concluye que, si bien el cerebro del robot sí contiene una señal de familiaridad graduada, no todos los robots la usan para decidir si hablar. Los modelos polacos tenían la señal pero nunca rechazaban responder. El modelo Gemma rechazaba, pero su señal era menos precisa. El artículo sugiere que podríamos necesitar construir un "guardián" externo que lea esta señal y decida por el robot si debe responder o buscar la información, especialmente para preguntas oscuras de la "larga cola" (long-tail).

Por qué esto es importante

Esta investigación sugiere que los modelos de IA tienen un "sentimiento visceral" oculto sobre lo que saben, y podemos leerlo. No se trata solo de hacer los modelos más grandes; se trata de cómo son entrenados. Si podemos enseñar a los modelos a confiar en este medidor interno, o construir herramientas que lo escuchen, podríamos evitar que inventen cosas con confianza sobre cosas que nunca han visto. Es un paso hacia lograr que la IA no solo sea más inteligente, sino también más honesta sobre sus propios límites.

Resumen Técnico: Lecturas de Familiaridad de Entidades Graduadas en Modelos de Lenguaje

Declaración del Problema

Los modelos de lenguaje (LM) enfrentan un desafío fundamental cuando se les consulta sobre entidades que no han encontrado: deben elegir entre abstenerse o conjeturar (alucinar). Aunque trabajos previos han establecido que los estados internos contienen información relevante para esta elección, la mayoría de los métodos de detección operan post-generación (calificando la respuesta) o dependen de distinciones binarias (conocido vs. fabricado). Esto deja abiertas preguntas críticas sobre la naturaleza de la señal interna: ¿Es un bit binario o una cantidad graduada? ¿Es robusta al lenguaje del prompt? ¿Es el vínculo entre la familiaridad y el rechazo causal o meramente correlacional? Finalmente, ¿puede una señal de pre-generación controlar la generación de manera competitiva para prevenir alucinaciones?

Metodología

Los autores proponen un protocolo de medición unificado aplicado en el "punto del prompt"—el último token de la pregunta de entrada, antes de que ocurra cualquier generación de respuesta. El estudio utiliza un nuevo conjunto de datos de 1,440 entidades polacas que abarcan cuatro dominios (atletas, ciudades, escritores, músicos) y diez deciles de popularidad (basados en visualizaciones de páginas de Wikipedia), además de 240 entidades de control fabricadas.

Diseño Experimental:

Modelos: Doce modelos ajustados por instrucciones de cuatro familias: Bielik (nativo de polaco), PLLuM (preentrenamiento continuo en polaco sobre bases Llama-3.1 y Mistral-Nemo), Gemma-4 y Qwen3. Estas familias abarcan un "eje de adaptación al polaco".
Señales de Lectura (Readout): Se miden tres clases de señales en un solo pase hacia adelante (forward pass):
1. Dispersión: Métricas no supervisadas (razón de participación inversa, entropía de Shannon) en los vectores de activación de MLP.
2. Sonda (Probe): Un clasificador de regresión logística supervisado sobre los estados ocultos del flujo residual.
3. Entropía del primer token: Entropía base del primer token generado.
Preguntas de Investigación (RQ):
- RQ1 (Lenguaje): ¿Se transfiere la señal de polaco a prompts en inglés?
- RQ2 (Graduación): ¿La puntuación sigue la popularidad continua?
- RQ3 (Causalidad): ¿Puede el direccionamiento de la dirección de familiaridad alterar causalmente el comportamiento de rechazo?
- RQ4 (Aplicación): ¿Puede la señal controlar la generación (abstenerse/recuperar) de manera competitiva con los detectores post-generación?

Contribuciones Clave y Resultados

1. Familiaridad Graduada y Adaptación al Polaco (RQ2)

El estudio demuestra que la familiaridad es una cantidad graduada, no un bit binario.

Graduación: En las familias adaptadas al polaco (Bielik y PLLuM), las puntuaciones de familiaridad se correlacionan fuertemente con la popularidad de la entidad (Spearman $\rho$ entre 0.28 y 0.57). En contraste, los modelos multilingües y no centrados en el polaco (Gemma-4 y Qwen3) muestran una correlación débil o insignificante ( $\rho \le 0.11$ ), a pesar de tener conteos de parámetros comparables o mayores.
Adaptación vs. Escala: La capacidad de rastrear la popularidad está más fuertemente asociada con la adaptación al polaco que con la escala del modelo. Las comparaciones controladas de los modelos PLLuM frente a sus arquitecturas base no polacas (Llama-3.1 y Mistral-Nemo) muestran que el preentrenamiento continuo en texto polaco aumenta significamente la graduación de la señal de familiaridad.
Espejo de Comportamiento: El gradiente interno refleja la corrección conductual en los modelos nativos de polaco (la corrección de Bielik-11B aumenta del 6% al 68% a través de los deciles de popularidad), mientras que los modelos no adaptados (Qwen3-14B) conjeturan de forma generalizada.

2. Robustez Translingüística (RQ1)

La señal de familiaridad es robusta a la forma superficial del enunciado de la pregunta.

Transferencia: Las sondas entrenadas en preguntas en polaco retienen entre el 96% y el 101% de su AUROC dentro del mismo idioma cuando se aplican zero-shot a preguntas en inglés sobre las mismas entidades (y viceversa) para los modelos Bielik y Gemma-4.
Transferencia de Entidades Disjuntas: Cuando se prueba en entidades no contenidas, la familia adaptada al polaco (Bielik) mantiene un rendimiento de transferencia del 98–100%, mientras que el modelo multilingüe Gemma-4 se degrada al 74–93%. Esto sugiere que la señal está ligada a características de reconocimiento de entidades más que a peculiaridades lingüísticas específicas de la plantilla.

3. Direccionamiento Causal del Rechazo (RQ3)

Utilizando Gemma-4-12B (el único modelo del conjunto que rechaza de forma nativa), los autores demuestran un vínculo causal entre la señal de familiaridad y el comportamiento de rechazo.

Intervención: Al añadir una dirección de familiaridad de rango uno (derivada de la diferencia entre las activaciones de entidades conocidas y desconocidas/fabricadas) al flujo residual en una capa específica (Capa 30), los autores pueden dirigir de forma monótona las tasas de rechazo.
Dosis-Respuesta:
- Empujar entidades conocidas hacia lo "desconocido" ( $\alpha < 0$ ) aumenta el rechazo de 0.24 a 1.00.
- Empujar entidades desconocidas/fabricadas hacia lo "conocido" ( $\alpha > 0$ ) suprime el rechazo de 0.73 a 0.00, causando que el modelo conjeture fluidamente.
Separación: Existe una dirección de "rechazo" separada en una capa posterior (Capa 44) que puede suprimir el rechazo sin alterar la señal de familiaridad, lo que indica una disociación entre la representación de la familiaridad y la política que la convierte en abstención.

4. Control de Pre-Generación (RQ4)

La sonda de familiaridad calibrada sirve como un control de pre-generación efectivo.

Discriminación: La sonda supera a todos los baselines adaptados post-generación (D2HScore, EigenTrack, MIND) y a la entropía semántica en la distinción entre entidades reales y fabricadas (AUROC 0.859–0.934 frente a baselines $\le 0.717$ ).
Eficiencia de Costo: Como señal de un solo pase hacia adelante, permite tomar decisiones de enrutamiento (responder vs. recuperar vs. abstenerse) antes de que se incurra en cualquier costo de generación.
Limitaciones en la Predicción de Comportamiento: Aunque la sonda predice bien la existencia de la entidad, su capacidad para predecir el error conductual (alucinación) depende del modelo. Funciona bien en modelos donde el comportamiento sigue al conocimiento (Bielik, Qwen3), pero parece invertirse en Gemma-4 porque la política de rechazo de este modelo (que la sonda no controla) se confunde con la corrección en la métrica de evaluación.

Significación y Reivindicaciones

El artículo afirma establecer una lectura de familiaridad de entidad de pre-generación graduada que es robusta al lenguaje del prompt y causalmente potente para dirigir el rechazo.

Representación vs. Política: Un hallazgo clave es la disociación entre la familiaridad representacional (que existe en todas las familias, pero es graduada solo en las adaptadas al polaco) y la política de abstención (que está presente solo en Gemma-4). Los modelos adaptados al polaco poseen la señal interna para saber lo que no saben, pero carecen de la política para actuar sobre ello; Gemma-4 posee la política, pero una señal menos graduada.
Implicación de Despliegue: Una sonda calibrada de un solo pase puede suministrar el "control" faltante para los modelos que poseen la señal pero carecen de la política, enrutando consultas de cola larga a la recuperación antes de que comience la generación.
Alcance: Los autores se mantienen modestos, señalando que el vínculo causal entre el cómputo natural del tiempo del prompt y la decisión de rechazo requiere más evidencia de tipo mediación, y que los resultados actuales de direccionamiento son específicos para un modelo y un dominio. El estudio no pretende resolver la alucinación universalmente, sino que proporciona un mecanismo para detectar y controlar la familiaridad de las entidades en contextos específicos.