💬 NLP

What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model

Este artículo introduce una prueba rigurosa para distinguir entre los artefactos inherentes a la construcción de la sonda (tales como la propagación del daño cinemático) y las propiedades genuinas del modelo (como los exponentes de Lyapunov) en experimentos de modelos de lenguaje de autoalimentación iterada, revelando que las afirmaciones previas de transiciones de fase fueron a menudo atribuidas erróneamente a los modelos en lugar a la metodología.

Autores originales: Nicolás Vera Zúñiga

Publicado 2026-08-12

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nicolás Vera Zúñiga

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El dilema del detective: Cuando la herramienta se convierte en la pista

Imagina que estás intentando averiguar cómo funciona un tipo específico de motor de coche. No puedes desmontarlo, así que en su lugar construyes una pista de pruebas gigante y automatizada. Alimentas la admisión del motor con su propio escape, una y otra vez, observando cómo reacciona el motor a sus propios gases. Esto es algo parecido a lo que hacen los científicos con los modernos "Modelos de Lenguaje de Gran Escala" (IA). Estos sistemas de IA son como motores superinteligentes que predicen la siguiente palabra en una frase. Los investigadores suelen alimentar a la IA con su propia salida para ver si puede corregir sus propios errores, pensar más profundamente o resolver problemas difíciles. Esto se llama "autoalimentación" o "sondeo iterado".

Pero aquí está la parte complicada: cuando construyes una pista de pruebas, la pista misma tiene reglas. Tal vez la pista es demasiado irregular, o tal vez el viento sopla de una manera específica que hace que el coche se tambalee. Si ves al coche tambalearse, ¿es porque el motor está roto o porque la pista es irregular? En el mundo de la IA, los científicos han estado midiendo cosas como "qué tan rápido cambian los pensamientos de la IA" o "qué tan estables son sus respuestas", asumiendo que estos números les dicen algo sobre el cerebro de la IA. Este artículo plantea una pregunta simple y aterradora: ¿Y si esos números nos están diciendo en realidad sobre la pista de pruebas que construimos, y no sobre la IA en absoluto?

El gran error de confusión: ¿Es la IA o el experimento?

En este artículo, el investigador, Nicolás Vera Zúñiga, plantea un experimento muy específico y ligeramente extraño para averiguarlo. Imagina un collar circular gigante hecho de 4096 cuentas, donde cada cuenta es una palabra (o "token") del vocabulario de la IA. La IA observa una pequeña ventana de cuentas alrededor de un punto específico, adivina qué debería ser la cuenta y luego reemplaza la cuenta actual por su nuevo intento. Hace esto para cada cuenta del collar, una y otra vez, en un orden aleatorio. Esto crea un bucle cerrado donde la IA está reescribiendo constantemente su propia historia basándose en sus propios intentos previos.

Para probar esto, el investigador crea dos collares idénticos. En el segundo collar, cambia solo una cuenta al principio. Luego, hace correr ambos collares a través de la misma simulación exacta, utilizando los mismos números aleatorios para decidir los cambios. Si el "cerebro" de la IA es sensible, esa única cuenta cambiada debería causar un efecto dominó, haciendo que los dos collares se vean cada vez más diferentes con el tiempo. Esto se llama "propagación de daños". El investigador mide qué tan rápido se propaga este daño (un número llamado $\lambda_{ca}$ ) y cuánto de él sobrevive.

La gran sorpresa: La "transición de fase" que no fue

El investigador encontró algo impactante. Cuando realizó este experimento a "temperaturas" muy bajas (lo que significa que la IA es forzada a ser muy segura y elegir solo las palabras más probables), el sistema colapsó repentinamente. El collar dejó de cambiar y se congeló en una sola palabra repetitiva (como un disco rayado atascado en "salto de línea"). Esto parecía una dramática "transición de fase", similar al agua convirtiéndose instantáneamente en hielo.

El investigador midió esta transición con extrema precisión, hasta tres decimales. Parecía un descubrimiento real sobre cómo se comportan los modelos de IA. Sin embargo, el artículo demuestra que esta transición pertenece al experimento, no a la IA.

Así es como lo supieron:

La prueba de control: Intentaron exactamente el mismo experimento en un tipo diferente de modelo de IA (un "modelo de lenguaje con máscara") que está construido de forma distinta. Este segundo modelo nunca se congeló, incluso a las mismas temperaturas bajas.
El mecanismo: Se dieron cuenta de que el congelamiento ocurría debido a una "trampa" matemática específica en la forma en que el primer modelo de IA elige sus palabras. Es como una pelota rodando hacia un hoyo profundo; una vez que cae, no puede salir. Este hoyo existe debido a las reglas del experimento (la forma específica en que la IA es forzada a actualizar sus cuentas), no porque la IA sea especial.
El veredicto: La "transición de fase" fue un evento "manufacturado". Era una propiedad de la pista de pruebas, no del coche. El investigador admite que pasaron cuatro meses pensando que habían descubierto una nueva ley de la física de la IA, solo para darse cuenta de que solo habían descubierto una peculiaridad de su propio instrumento de medición.

¿Qué mide realmente el experimento?

Entonces, si la "transición de fase" era falsa, ¿nos dice el experimento algo real? Sí, pero hay que tener mucho cuidado con qué se observa:

Las lecturas de "Construcción" (el ruido): Algunos números, como la velocidad a la que se propagan los daños ( $\lambda_{ca}$ ), están fijados por la geometría de la prueba. Si cambias el tamaño de la ventana o el orden de las cuentas, estos números cambian. Si cambias el modelo de IA, estos números permanecen mayormente iguales. Estas lecturas te dicen sobre el experimento, no sobre la IA.
Las lecturas del "Modelo" (la señal): Otros números, como la "cuota de atractor" (cuánto se asienta la IA en una palabra específica), sí cambian cuando cambias el modelo de IA. Si entrenas un modelo durante más tiempo, este número se mueve. Si cambias a una arquitectura de IA diferente, este número se mueve. Esta es la única parte que realmente nos dice algo sobre el cerebro de la IA.

Los "errores de trampa" y las afirmaciones retractadas

El artículo es también una advertencia sobre lo fácil que es engañarse a uno mismo con la estadística. El investigador enumera cuatro veces que casi publican un "descubrimiento" que resultó ser erróneo porque no verificaron su matemática adecuadamente:

Una vez midieron un "punto crítico" usando una configuración que era demasiado pequeña para ser válida.
Accidentalmente usaron los mismos números aleatorios para diferentes partes de la prueba, haciendo que los resultados parecieran más ciertos de lo que eran.
Intentaron encontrar un patrón en datos que eran en realidad una línea plana (varianza cero), lo que hizo que una correlación pareciera real cuando era solo una coincidencia de cómo se ordenaron los datos.

Cada vez, detectaron el error no mediante la revisión por pares, sino ejecutando una prueba de "respuesta conocida" (como una simulación donde el resultado ya es conocido) y viendo que su herramienta daba la respuesta incorrecta.

La conclusión fundamental

Este artículo no nos otorga un nuevo superpoder para la IA. En cambio, nos da un nuevo par de gafas. Nos enseña que cuando alimentamos a una IA con su propia salida, estamos mezclando dos cosas: la inteligencia real de la IA y las reglas artificiales de nuestro experimento.

La idea principal es que no podemos simplemente mirar un número y asumir que nos dice algo sobre la IA. Tenemos que jugar un juego de "control y variable": si cambiamos la IA y el número permanece igual, el número es sobre el experimento. Si cambiamos el experimento y el número permanece igual, el número es sobre la IA. El artículo demuestra que algunos de los "descubrimientos" más emocionantes en este campo podrían ser simplemente reflejos del espejo que sostenemos, no del rostro que estamos mirando. Es un llamado a los científicos para que sean humildes, verifiquen sus herramientas y se den cuenta de que, a veces, lo más interesante que encuentran es el fallo en su propia cinta métrica.

Resumen Técnico: Qué miden las sondas de alimentación propia iterativas de los modelos de lenguaje

Planteamiento del problema

Una clase creciente de métodos sondea los modelos de lenguaje (LM) alimentando su propia salida de vuelta a su entrada, creando sistemas dinámicos como la autoconsistencia, el refinamiento iterativo y los bucles agénticos. Aunque estos métodos son rutinarios, una pregunta fundamental permanece sin respuesta: ¿qué miden realmente la dinámica de estas sondas de alimentación propia?

El artículo argumenta que las lecturas actuales de tales sondas confunden dos fuentes distintas de información:

Cantidades determinadas por la construcción: Propiedades que surgen únicamente de la mecánica de la sonda (por ejemplo, la estructura del bucle, las reglas de remuestreo y el método de acoplamiento).
Cantidades determinadas por el modelo: Propiedades intrínsecas al propio modelo de lenguaje.

Sin un método para distinguir entre ambos, los investigadores corren el riesgo de atribuir erróneamente artefactos del aparato de medición al modelo. El autor reporta un caso específico donde midió una "transición de fase" con tres decimales de precisión, solo para descubrir que pertenecía enteramente a la construcción de la sonda, no al modelo.

Metodología

La Construcción

El autor emplea una construcción específica para aislar la confusión entre la sonda y el modelo:

Estado: Un anillo de $N$ celdas de tokens con fronteras periódicas.
Dinámica: Remuestreo in-situ. En cada paso, un sitio $x_i$ es remuestreado de la probabilidad condicional de ventana del modelo $p(x_i | x_{i \pm r})$ a una temperatura $T$ . El token central se enmascara de su propia ventana.
Acoplamiento: Dos anillos ( $x$ y $\tilde{x}$ ) avanzan utilizando Números Aleatorios Comunes (CRN). Son idénticos excepto por un token invertido en $t=0$ . Ambos utilizan el mismo flujo de variates uniformes y el mismo orden de visita.
Hipótesis Nula: Bajo CRN, si dos anillos tienen ventanas idénticas, extraen exactamente el mismo token (muestreo de CDF inversa contra una variate uniforme compartida). Por lo tanto, los gemelos no dañados divergen exactamente por cero. Cualquier divergencia es estrictamente atribuible a la inversión inyectada.

Cantidades Medidas

$\lambda_{ca}$ (Exponente de Lyapunov en el espacio de tokens): La tasa de crecimiento exponencial del número de sitios diferentes ( $d_t$ ) antes de la saturación.
$D_{norm}$ : El nivel de saturación del daño, normalizado por un umbral de ruido independiente.
Cuota del Atractor (Attractor Share): La ocupación del token dominante en el anillo estabilizado.

Estrategia de Validación

El instrumento se calibra mediante la reproducción en sistemas con respuestas conocidas, específicamente el autómata celular probabilístico de Domany–Kinzel. El autor verifica que su implementación produce coincidencias bit a bit con las predicciones independientes en este autómata antes de aplicarlo a los modelos de lenguaje.

Contribuciones Clave

1. Un Instrumento Validado

El autor proporciona una herramienta calibrada que distingue entre la geometría de la sonda y el comportamiento del modelo. El instrumento fue validado reproduciendo exactamente el campo de daño de Domany–Kinzel y recuperando matrices de transición conocidas para autómatas celulares elementales.

2. Identificación de una Transición de Fase "Manufacturada"

El autor descubrió una transición aguda de estado absorbente en la dinámica de la sonda en una temperatura crítica $T_c \in [0.4343, 0.4391]$ .

Naturaleza: Esta transición es una propiedad de la sonda, no del modelo.
Mecanismo: Surge de un punto fijo atractor del mapa argmax en la construcción autorregresiva (específicamente para modelos como Pythia-410m), causando que la red colapse sobre un solo token (por ejemplo, un salto de línea) a bajas temperaturas.
Evidencia: La transición desaparece cuando se altera la construcción (por ejemplo, usando una construcción de Masked-LM sin tal punto fijo), pero persiste a través de 19 modelos y escalas de escalonamiento diferentes (una variación de 70x).

3. La Prueba del Discriminador

El artículo introduce una prueba rigurosa para separar las lecturas determinadas por la construcción de las determinadas por el modelo:

Prueba: Variar un factor (construcción o modelo) mientras se mantiene el otro fijo.
Criterio: Si una lectura se mueve cuando la construcción cambia pero permanece fija cuando el modelo cambia, es determinada por la construcción. Si se mueve cuando el modelo cambia pero permanece fija cuando la construcción cambia, es determinada por el modelo.
Aplicación:
- Determinada por la construcción: El cono de luz de daño (cinemático) y el escalamiento del radio de $\lambda_{ca}$ (invariante del modelo).
- Determinada por el modelo: La cuota del atractor, que clasifica consistentemente a los modelos a través de diferentes construcciones.
- Devengada (Developmental): $\lambda_{ca}$ sigue la trayectoria de entrenamiento de un único modelo (cruzando cero en un punto reproducible) pero falla al distinguir entre diferentes familias de modelos.

4. Puerta de Estimadores y Veredictos Retractados

El autor reporta cuatro veredictos retractados donde los estimadores produjeron números confiables pero incorrectos porque se aplicaron a cantidades sin margen de variación (por ejemplo, predictores saturados, valores indefinidos tratados como cero o réplicas correlacionadas). Publica un paquete de "guardias" (por ejemplo, controles de rango dinámico, puertas de ruido, clasificación consciente de empates) para prevenir estos errores.

Resultados

Artefactos de la Sonda: La "transición de fase" observada en modelos autorregresivos es un artefacto de la geometría de la sonda (específicamente el punto fijo del mapa argmax). Es reproducible pero no contiene información sobre las capacidades del modelo.
Sensibilidad del Modelo:
- $\lambda_{ca}$ : Aunque muestra una transición de desarrollo (cruzando cero durante el entrenamiento), es invariante del modelo a través de diferentes arquitecturas y escalas. No sirve como una métrica fiable para comparar diferentes modelos.
- Cuota del Atractor (Attractor Share): Esta métrica distingue con éxito entre familias de modelos (por ejemplo, RWKV vs. modelos de Atención) y es robusta a los cambios en la construcción de la sonda (radio, temperatura).
Respuesta de Ablación: Eliminar componentes internos (por ejemplo, bloques de atención) cambia la dinámica, confirmando que el instrumento lee el modelo. Sin embargo, la respuesta es no monótona y depende del estado inicial de la referencia, lo que indica una relación estadística compleja en lugar de un mecanismo causal simple.
Poder Predictivo: La cuota del atractor predice fallos en el seguimiento de instrucciones, mientras que la transición de desarrollo ( $\lambda_{ca}$ ) no lo hace. Por el contrario, $\lambda_{ca}$ (vía diversidad) predice la degeneración codiciosa (greedy degeneration), mientras que la cuota del atractor no lo hace.

Significado y Reivindicaciones

El artículo sostiene que las sondas de alimentación propia iteradas miden una mezcla de la construcción y del modelo, y que estos componentes son indistinguibles por inspección simple.

Modestia de las Reivindicaciones: El autor establece explícitamente que esto no es un resultado de interpretabilidad. No afirma que $\lambda_{ca}$ localice un mecanismo interno específico. En cambio, la contribución es de medición: definir qué leen estas sondas, qué no leen y cómo distinguir entre ambos.
Perspectiva Central: Un instrumento puede ser válido para un tipo de comparación (por ejemplo, rastrear el entrenamiento de un solo modelo) y vacío para otro (por ejemplo, comparar diferentes familias de modelos).
Cambio Metodológico: El autor argumenta que las cantidades derivadas de bucles de alimentación propia deben someterse a la "prueba del discriminador" (variar construcción vs. variar modelo) antes de ser interpretadas como propiedades del modelo de lenguaje.
Reproducibilidad: Todo el código, los datos y los scripts de las figuras se liberan con trazabilidad estricta (hashing SHA-256) para asegurar que las figuras no sobrevivan al código que las produjo.

El artículo concluye que la "resumen elegante" de que el instrumento se mide a sí mismo es falso; el instrumento sí lee el modelo, pero también lee la sonda con la misma precisión. El costo de no distinguir entre ellos es la atribución errónea de los artefactos de la sonda (como la transición de fase manufacturada) al modelo.