Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety

Este estudio demuestra que las condiciones de evaluación, especialmente el formato de las preguntas, influyen más en las puntuaciones de seguridad de los modelos de lenguaje que la arquitectura de los andamios de despliegue, revelando que las clasificaciones de seguridad carecen de fiabilidad generalizable y exigen pruebas específicas para cada modelo y configuración.

Lo esencial

Imagina que quieres probar qué tan seguro es un chofer de coche autónomo (el modelo de inteligencia artificial).

El Problema: La Prueba de Manejo vs. La Vida Real

En el laboratorio, los científicos le ponen al chofer una prueba de examen de opción múltiple en papel. Le preguntan: "¿Qué haces si ves un peatón? A) Frenar, B) Acelerar". El chofer elige "A" y aprueba. Es una prueba limpia, controlada y fácil de calificar.

Pero, en la vida real, cuando el chofer sale a la calle, no va solo. Va acompañado de un equipo de seguridad: un copiloto que revisa sus pensamientos, un sistema que le da instrucciones paso a paso y otro que revisa su trabajo antes de que mueva el coche. A este equipo lo llamamos "andamio" (scaffold).

El estudio de este papel se pregunta: ¿Qué pasa con la seguridad del chofer cuando lo ponemos en la vida real con todo este equipo, comparado con cuando lo dejamos solo en el examen de papel?

Lo que Descubrieron (La Analogía del "Andamio")

Los investigadores construyeron un experimento gigante (con más de 62,000 pruebas) para ver cómo cambia la seguridad del chofer bajo diferentes equipos de seguridad.

1. El Equipo que Confunde: Descubrieron que un tipo específico de equipo (llamado "mapa-reduce", que es como darle al chofer un mapa gigante y pedirle que lo resuma) lo hizo más peligroso. Fue como si el copiloto le hubiera dado instrucciones tan confusas que el chofer olvidó frenar.
2. Los Equipos que Funcionan: Sin embargo, otros dos tipos de equipos de seguridad mantuvieron al chofer seguro. No hubo diferencia real entre el chofer solo y el chofer con estos equipos.
3. El Truco de la Pregunta (El Hallazgo Más Grande): Aquí está la parte más importante. Descubrieron que el problema no era tanto el equipo de seguridad, sino cómo se le hacía la pregunta.
   • Si le preguntas al chofer: "Elige A o B" (Opción múltiple), parece muy seguro.
   • Si le preguntas: "Explica con tus propias palabras qué harías" (Respuesta abierta), su seguridad parece caer drásticamente (entre un 5% y un 20% menos).
   • La metáfora: Es como si el chofer fuera un actor. En el examen de opción múltiple, solo tiene que señalar la respuesta correcta. Pero en la vida real, tiene que improvisar. El estudio dice que cambiar la forma de preguntar es más importante que cambiar al equipo de seguridad.

Cada Chofer es un Mundo Diferente

Otro hallazgo sorprendente es que no se puede generalizar.

• El "Chofer A" se vuelve muy peligroso con un equipo de seguridad específico.
• El "Chofer B" se vuelve más seguro con el mismo equipo.
• Es como si un equipo de seguridad fuera un traje a medida: le queda perfecto a uno y le cae mal al otro. Por eso, no se puede decir "todos los coches autónomos son seguros con este equipo". Hay que probar cada coche con cada equipo por separado.

La Conclusión Final: No hay un "Índice de Seguridad" Universal

Al final, los investigadores intentaron crear una "puntuación de seguridad" única para todos los coches, como un promedio de notas. Pero descubrieron que es imposible.

• El coche que es el "más seguro" en el examen de papel, puede ser el "más peligroso" en la prueba de respuesta abierta.
• Las clasificaciones se invierten tan completamente que no existe un número mágico que diga quién es el mejor chofer en general.

En resumen:
Para saber si una Inteligencia Artificial es segura, no basta con hacerle un examen rápido de opción múltiple. Hay que probarla en su entorno real, con sus herramientas específicas, y preguntarle de formas diferentes. Lo que parece seguro en el papel, puede ser peligroso en la calle, y viceversa.

El estudio libera todos sus datos y códigos (llamado ScaffoldSafety) para que cualquiera pueda hacer sus propias pruebas, porque la seguridad no es un número fijo, sino una situación que cambia según cómo la mires.

Resumen técnico

Resumen Técnico: "Seguridad bajo Andamios: Cómo las Condiciones de Evaluación Dan Forma a la Seguridad Medida"

Basado en el artículo arXiv:2603.10044v1, a continuación se presenta un resumen técnico detallado en español que abarca el problema, la metodología, las contribuciones clave, los resultados y la significancia del estudio.

1. El Problema

Existe una desconexión crítica entre cómo se evalúan los modelos de lenguaje (LLMs) y cómo se despliegan en la realidad:

• Evaluación Aislada: Los benchmarks de seguridad actuales evalúan a los modelos de forma aislada, generalmente utilizando formatos de opción múltiple.
• Despliegue Real: En producción, estos modelos se integran en "andamios" (scaffolds) agénticos complejos. Estos sistemas reestructuran las entradas mediante trazas de razonamiento, agentes críticos y pipelines de delegación antes de que el modelo genere una respuesta.
• La Incógnita: No está claro si las métricas de seguridad obtenidas en entornos aislados (opción múltiple) predicen con precisión el comportamiento de seguridad en entornos de despliegue con andamios, ni cómo la arquitectura del andamio afecta las medidas de seguridad.

2. Metodología

El estudio es una de las investigaciones controladas más grandes sobre los efectos de los andamios en la seguridad, caracterizada por un rigor metodológico excepcional:

• Escala: Incluye 62,808 muestras de evaluación.
• Modelos y Configuraciones: Se probaron 6 modelos de vanguardia (frontier models) bajo 4 configuraciones de despliegue diferentes.
• Diseño Experimental:
  • Pre-registro: Para evitar el sesgo de confirmación.
  • Cegamiento del evaluador: Los evaluadores no conocían las condiciones experimentales.
  • Pruebas de Equivalencia (TOST): Se utilizó un margen pre-registrado de +/- 2 puntos porcentuales (pp) para determinar la equivalencia práctica.
  • Análisis de Curva de Especificación: Para evaluar la robustez de los resultados frente a diferentes decisiones analíticas.
• Variables Clave: Comparación entre formatos de respuesta (opción múltiple vs. abierto) y diferentes arquitecturas de andamios (incluyendo "map-reduce").

3. Contribuciones Clave

1. ScaffoldSafety: Liberación pública de todo el código, datos y prompts utilizados, permitiendo la reproducibilidad total.
2. Identificación de Sesgo de Formato: Demostración de que el formato de la pregunta (opción múltiple vs. respuesta abierta) es un factor de distorsión mayor que la arquitectura del andamio en sí.
3. Refutación de Generalizaciones Universales: Evidencia de que la interacción entre el modelo y el andamio es específica de cada caso, invalidando afirmaciones universales sobre la seguridad de los andamios.
4. Nueva Métrica de Confiabilidad: Un análisis de generalización que revela la falta de fiabilidad en los índices compuestos de seguridad.

4. Resultados Principales

A. Efecto del Formato de Evaluación

El hallazgo más impactante es que el formato de la pregunta domina sobre la arquitectura del andamio:

• Cambiar de opción múltiple a formato de respuesta abierta en ítems idénticos desplaza las puntuaciones de seguridad entre 5 y 20 puntos porcentuales.
• Este desplazamiento es mayor que cualquier efecto observado por la arquitectura del andamio.

B. Impacto de los Andamios (Scaffolds)

• Map-Reduce: Este tipo de andamio degradó la seguridad medida (Número Necesario para Dañar, NNH = 14).
• Otras Arquitecturas: Dos de las tres arquitecturas de andamio probadas preservaron la seguridad dentro de márgenes de equivalencia práctica (dentro de los +/- 2 pp).
• Comparación Intra-formato: Cuando se comparan andamios dentro del mismo formato, los resultados son consistentes con la equivalencia práctica, lo que sugiere que la arquitectura del andamio no es la variable operativa principal, sino el formato de evaluación.

C. Interacciones Modelo x Andamio

No existe un comportamiento uniforme:

• Las interacciones varían en un rango de 35 puntos porcentuales en direcciones opuestas.
• Ejemplo: Un modelo degradó su seguridad en un -16.8 pp en el benchmark de sycophancy (adulación) bajo el andamio "map-reduce", mientras que otro modelo mejoró +18.8 pp en el mismo benchmark bajo la misma condición.
• Conclusión: Se descartan afirmaciones universales sobre la seguridad de los andamios; el efecto depende intrínsecamente del modelo específico.

D. Análisis de Generalización (G)

• El análisis de generalización arrojó un valor de G = 0.000.
• Esto significa que las clasificaciones de seguridad de los modelos se invierten completamente al cambiar de un benchmark a otro.
• Implicación: Ningún índice compuesto de seguridad tiene una fiabilidad mayor que cero. No es posible crear una "puntuación de seguridad" única y generalizable.

5. Significancia e Implicaciones

Este estudio desafía las prácticas actuales de evaluación de seguridad en IA:

1. Necesidad de Pruebas Específicas: Debido a la falta de fiabilidad en los índices compuestos y la alta variabilidad entre modelos, el estándar mínimo necesario es realizar pruebas por modelo y por configuración específica, en lugar de depender de rankings generales.
2. Reevaluación de los Benchmarks: La comunidad debe reconsiderar el uso exclusivo de opciones múltiples, ya que el formato de respuesta introduce una distorsión masiva en las métricas de seguridad.
3. Despliegue Seguro: Los desarrolladores no pueden asumir que un modelo seguro en un benchmark aislado permanecerá seguro en un entorno de producción con andamios, ni viceversa. La evaluación debe simular las condiciones de despliegue real (formato abierto, agentes críticos, etc.).

En resumen, el papel argumenta que la "seguridad" no es una propiedad intrínseca y estática del modelo, sino una propiedad emergente y altamente dependiente del contexto de evaluación y la configuración de despliegue.