Is Evaluation Awareness Just Format Sensitivity? Limitations of Probe-Based Evidence under Controlled Prompt Structure

1. El Problema: La Ambigüedad de la "Conciencia de Evaluación"

El trabajo aborda la noción de conciencia de evaluación en los Modelos de Lenguaje Grandes (LLM): la capacidad de un modelo para distinguir entre prompts de evaluación (pruebas de benchmark) y prompts de despliegue (uso real), y modificar su comportamiento en consecuencia.

• Evidencia Prevía: Estudios recientes (Needham et al., 2025; Nguyen et al., 2025) han utilizado probes lineales (clasificadores lineales entrenados sobre activaciones congeladas del modelo) para demostrar que los LLMs pueden distinguir estos contextos con alta precisión.
• La Incógnita: Existe una confusión fundamental en los diseños experimentales anteriores. Los prompts de evaluación suelen tener un formato rígido y canónico (ej. preguntas de opción múltiple, estructuras de benchmark como MMLU), mientras que los prompts de despliegue son conversacionales y libres.
• La Hipótesis Crítica: Los autores plantean si las señales detectadas por los probes reflejan realmente una comprensión del contexto de evaluación o si simplemente están explotando la sensibilidad del modelo a la estructura superficial del prompt (el formato). Si los probes solo detectan el formato, no son herramientas fiables para la seguridad o la monitorización del comportamiento.

2. Metodología: Diseño Controlado 2x2

Para disociar el contexto de la estructura, los autores proponen un diseño experimental riguroso que trata el Contexto (Evaluación vs. Despliegue) y el Formato (Benchmark vs. Casual) como variables independientes.

A. La Matriz de Datos 2x2

Se construyó un dataset cruzando estas dos dimensiones para crear cuatro cuadrantes:

1. Bench-Eval: Prompts canónicos de evaluación (MMLU, ARC, GSM8K).
2. Casual-Deploy: Prompts de despliegue conversacional (ShareGPT).
3. Casual-Eval: Prompts de evaluación en formato conversacional (usando el primer turno de MuTual como proxy).
4. Bench-Deploy: Prompts de despliegue (ShareGPT) que han sido reescritos artificialmente para adoptar el formato estricto de un benchmark (opción múltiple, estructura rígida) sin cambiar su intención de uso.

B. Controles Estrictos

Para evitar atajos (shortcuts) en el entrenamiento de los probes, se aplicaron medidas estrictas:

• Control de Longitud: Se utilizó histogram matching para igualar la distribución de caracteres entre los prompts de Bench-Eval y Casual-Deploy, eliminando la longitud como señal predictiva.
• Eliminación de Fugas (Leakage): Se auditaron y eliminaron manualmente las fugas de respuestas (ej. campos "Answer:" pre-llenados) que podrían haberse introducido durante la reescritura de los prompts.
• Modelo y Extracción: Se utilizaron activaciones del residual stream (último token) de Llama-3.1-8B-Instruct en capas intermedias y tardías (índices 8-31).

C. Protocolos de Entrenamiento

Se compararon dos paradigmas:

1. Entrenamiento Estándar (Single-Contrast): Entrenado en la confusión típica (Bench-Eval vs. Casual-Deploy).
2. Entrenamiento Emparejado (Decorrelated): Entrenado en datos donde el formato se ha descorrelacionado del contexto (Bench-Eval + Casual-Eval vs. Bench-Deploy + Casual-Deploy).

3. Resultados Clave

A. El "Trampa del Formato" (Standard Probes)

Los probes entrenados con el protocolo estándar fallan estrepitosamente al generalizar:

• Clasifican correctamente el 98.8% de los prompts de Bench-Eval como "Evaluación".
• Sin embargo, clasifican erróneamente el 94.5% de los prompts de Bench-Deploy (despliegue reescrito como benchmark) como "Evaluación".
• Conclusión: El probe no detecta la intención de evaluación, sino la estructura canónica del benchmark (ej. el formato de opción múltiple). Incluso al cambiar el tono lingüístico a uno académico sin cambiar la estructura, el probe sigue detectando "Evaluación".

B. Éxito del Entrenamiento Decorrelacionado

Cuando el formato se descorrelaciona del contexto durante el entrenamiento (Paired Training):

• El probe aprende a distinguir el contexto real.
• Clasifica correctamente el Bench-Deploy como "Despliegue" (error del 7.2% vs 94.5% en el estándar).
• Reconoce el Casual-Eval como "Evaluación" (100% de precisión).
• Esto demuestra que la señal de conciencia de evaluación existe en el modelo, pero los métodos estándar no logran aislarla debido a la correlación espuria con el formato.

C. Pruebas de Seguridad

Al evaluar los probes en datasets de seguridad (AdvBench, HarmBench), ninguno de los dos tipos de probes (estándar o emparejado) clasificó las preguntas de seguridad como "Evaluación". Esto indica que la "conciencia de evaluación" detectada por probes no es un indicador general de comportamiento seguro o inseguro.

4. Contribuciones Principales

1. Diseño Experimental 2x2 Controlado: Introducción de una metodología que varía independientemente el contexto, el género y el formato, permitiendo aislar factores estructurales de intencionales.
2. Fallo de Generalización de Probes: Demostración empírica de que los probes lineales estándar no generalizan a prompts libres de formato, incluso cuando el contenido y el estilo se preservan.
3. Implicaciones Metodológicas: Advertencia de que las herramientas de diagnóstico basadas en probes son altamente sensibles al formato y no deben usarse como herramientas de seguridad invariantes a la estructura sin un control riguroso de las variables de confusión.

5. Significado e Impacto

Este trabajo tiene implicaciones profundas para la investigación en alineación y seguridad de LLMs:

• Reevaluación de Evidencias Previas: Sugiere que muchos hallazgos anteriores sobre la "conciencia de evaluación" pueden ser artefactos de la sensibilidad al formato de los benchmarks, no una capacidad cognitiva genuina del modelo para entender su situación.
• Riesgo de Falsa Seguridad: Los mecanismos de gobernanza que dependen de la precisión de los probes para detectar cuándo un modelo está siendo evaluado (y potencialmente "actuar" de forma diferente) podrían estar sobrestimando la conciencia situacional del modelo.
• Necesidad de Control Estricto: Para validar la conciencia de evaluación, los futuros experimentos deben descorrelacionar explícitamente el formato del contexto. La precisión de un probe no debe interpretarse como razonamiento contextual si no se controla la estructura del prompt.

En resumen, el artículo concluye que la conciencia de evaluación detectada por probes estándar es, en gran medida, sensibilidad al formato. La señal real de contexto existe, pero está oscurecida por las fuertes señales lineales que introducen los diseños de benchmark canónicos.