A Probe Direction Is a Property of Its Prompt

Resumen Técnico: "Una dirección de sondeo es una propiedad de su prompt"

Planteamiento del problema
Trabajos recientes en interpretabilidad mecánica han buscado detectar si los grandes modelos de lenguaje (LLM) poseen un "sentido" interno de estar siendo evaluados. El instrumento estándar para esta detección consiste en contrastar las activaciones del modelo en prompts que anuncian explícitamente una evaluación frente a prompts que simulan un despliegue ordinario. La diferencia en las activaciones medias produce una dirección en el espacio de activación, y el grado en que los datos de prueba (held-out) se separan a lo largo de esta dirección se reporta como una puntuación. Estas puntuaciones se tratan entonces como propiedades intrínsecas del modelo, utilizadas para correlacionar la "conciencia de evaluación" con la escala del modelo.

El artículo identifica un fallo crítico en esta metodología: la definición de "un prompt que anuncia una evaluación" no es un parámetro fijo, sino una elección entre una vasta familia de posibles redacciones. El método no ofrece ninguna regla para seleccionar una frase específica, sin embargo, la puntuación reportada se trata como una propiedad estable del modelo. La cuestión central es si la dirección y las tendencias de escalado resultantes reflejan el estado interno del modelo o son artefactos de la construcción específica del prompt por parte del experimentador.

Metodología
El autor emplea un diseño experimental factorial para aislar la varianza atribuible a la redacción del prompt ("wrappers") frente a la identidad del modelo.

• Diseño: Un cruce factorial de $6 \times 6$ de 6 encuadres de evaluación y 6 encuadres de despliegue, envolviendo un texto de tarea idéntico en bytes. Esto crea 36 pares de prompts distintos para cada modelo.
• Modelos: Diez modelos de pesos abiertos ajustados por instrucciones pertenecientes a cuatro familias (Qwen2.5, Qwen3, OLMo-2, y otros), que van desde 135M hasta 7B de parámetros.
• Métrica: El estadístico de campo estándar, $\max_{\ell} |AUROC_{\ell} - 0.5|$, computado sobre las activaciones de las capas.
• Marco de análisis: El estudio aplica la Teoría de la Generalizabilidad (Cronbach et al., 1972) para descomponer la varianza observada en componentes: modelo, wrapper del prompt, ítem y sus interacciones. Esto trata la elección del prompt como un "faceta" del diseño de medición en lugar de un detalle de implementación.
• Controles: El autor adapta la disciplina de tareas de control de Hewitt & Liang (2019) a direcciones no entrenadas de disparo cero (zero-shot). Prueban dos controles: (1) direcciones con etiquetas permutadas (randomizando las etiquetas de evaluación/despliegue) y (2) controles de dirección randomizada (vectores isotrópicos emparejados con la autocorrelación de las direcciones reales).
• Reproducibilidad: El estudio reanaliza los artefactos de Chaudhary et al. (2025) y Manek (2026), quienes liberaron puntuaciones por capa y vectores de dirección, permitiendo la reconstrucción exacta de sus pipelines.

Resultos clave

1. La elección del prompt determina la conclusión: La elección del wrapper contrastivo dicta el signo y la magnitud del resultado de escalado. En la escalera de Qwen2.5, variando únicamente el encuadre de despliegue mientras se mantiene fijo el de evaluación, la correlación con el tamaño del modelo cambia de $r = +0.94$ (escalado positivo) a $r = -0.82$ (escalado negativo). Dos estudios publicados con hallazgos contradictorios (uno reportando escalado positivo, otro negativo) son ambos reproducibles desde un único diseño experimental simplemente cambiando la redacción del prompt.
2. La dirección es una propiedad del prompt: Las direcciones derivadas de diferentes pares de wrappers están pobremente alineadas (similitud de coseno $\approx 0.37$), mientras que las direcciones de un mismo par de wrappers en mitades de ítems disjuntos son casi idénticas (coseno $\approx 0.9995$). La dirección es, efectivamente, una propiedad del prompt, no del concepto que se sondea.
3. Baja generalizabilidad: El análisis de la teoría de la generalizabilidad revela que el modelo en sí mismo explica solo el 0.8% de la varianza total de la puntuación reportada. La fuente dominante de varianza es la interacción entre el modelo y el wrapper del prompt (13.4 veces mayor que la interacción modelo-ítem). En consecuencia, promediar sobre más ítems de evaluación no mejora la fiabilidad; solo promediar sobre muchos prompts lo hace.
4. Confundido por la forma superficial: La división de la muestra de prueba es en gran medida separable únicamente por la forma superficial (AUROC de bolsa de palabras $\approx 0.993$). Una dirección construida para portar ninguna información sobre la evaluación (un control sin contenido) aún recupera entre el 70% y el 116% de las puntuaciones publicadas. En varios casos, la puntuación publicada cae por debajo del "suelo" establecido por estos controles sin contenido, indicando que la señal es indistinguible del ruido o de artefactos superficiales.
5. Latitud de implementación: Las elecciones de pipeline no declaradas (por ejemplo, filtrado de tokens, codificación de saltos de línea, truncamiento) representan el 27.5% de la varianza total, una cifra mayor que el efecto del modelo mismo.

Contribuciones

• Crítica metodológica: El artículo demuestra que la estadística de "conciencia de evaluación" no es una propiedad robusta del modelo, sino una función del diseño del prompt. Muestra que el signo de la relación de escalado es arbitrario según la elección de redacción del investigador.
• Descomposición de la varianza: Cuantifica la fiabilidad de los diseños de sondeo actuales, mostrando que el "objeto de medición" (el modelo) es un contribuyente negligible a la varianza observada en comparación con la "faceta" del prompt.
• Reanálisis: Proporciona un reanálisis corregido de dos estudios prominentes. La afirmación de que la estadística escala predeciblemente con el conteo de parámetros (Chaudhary et al., 2025) sobrevive a una corrección de suelo pero sigue siendo vulnerable a la selección del prompt. La afirmación de que la profundidad de la capa pico se desplaza con la escala (Manek, 2026) se considera "no identificada" porque la capa pico es un argmax sobre una curva casi plana, lo que la hace inestable ante el remuestreo.
• Prescripción: El artículo argumenta que una comparación defendible requiere reportar las puntuaciones para cada wrapper, cruzando ambos brazos del contraste, y reportar las puntuaciones de los controles sin contenido. Estima que un diseño defendible requiere aproximadamente 9 wrappers distintos (mucho más que el único prompt utilizado actualmente) para lograr un coeficiente de generalizabilidad de 0.80.

Significancia y Reivindicaciones
El artículo concluye que un diseño de un solo prompt no puede sustentar la comparación entre modelos. La estadística reportada es principalmente una propiedad del prompt contrastivo, no de la representación interna del modelo sobre el hecho de ser evaluado.

El autor es explícito sobre el alcance de sus afirmaciones:

• No afirma que los modelos no representen el hecho de ser evaluados.
• No afirma que los autores anteriores actuaran de mala fe o cometieran errores de conducta.
• Sí afirma que los instrumentos actuales miden menos de lo que se declara y que la varianza en los números reportados está dominada por las elecciones de diseño (prompts y detalles de implementación) más que por las diferencias del modelo.

El artículo sostiene que la práctica actual del campo de utilizar un solo prompt para extraer conclusiones sobre la escala del modelo es metodológicamente errónea porque la "medición" está confundida por el "estímulo". La significancia radica en cambiar la carga de la prueba: las futuras afirmaciones sobre la conciencia del modelo deben dar cuenta de la varianza del prompt como una fuente primaria de incertidumbre, en lugar de tratar el prompt como un detalle de implementación fijo.