Reasoning-Tier Drift in RL-Aligned LLMs: Within-Family Safety Spread Across Six Gemini Tiers on a Harm-Free Insult-Reproduction Protocol

Imagina un mundo donde las computadoras pueden mantener conversaciones, escribir historias y responder preguntas complejas con una fluidez que se siente casi humana. Para hacer que estas máquinas sean seguras y útiles, los desarrolladores les enseñan a rechazar solicitudes dañinas, como generar discursos de odio o instrucciones para la violencia. Este entrenamiento se aplica generalmente a toda la "familia" de un modelo informático, un proceso que se supone garantiza que cada versión se comporte de manera consistente. Sin embargo, una investigación reciente revela un fallo sorprendente en cómo funcionan estos sistemas de seguridad. El estudio se centra en una familia específica de modelos de inteligencia artificial conocida como Gemini, que se ofrece a los usuarios en diferentes versiones, que van desde versiones ligeras y rápidas hasta versiones más potas y con mayor capacidad de razonamiento. Si bien el entrenamiento de seguridad está destinado a cubrir a toda la familia, los investigadores descubrieron que las diferentes versiones no están de acuerdo en lo que es seguro.

El núcleo del problema reside en cómo estas diferentes versiones procesan una solicitud. Cuando un usuario hace una pregunta directamente, el entrenamiento de seguridad de la computadora suele activarse y decir "no". Pero si el usuario envuelve esa misma solicitud dañina dentro de una historia compleja, una cita académica falsa o un escenario de juego de roles, las versiones más potentes del modelo comienzan a comportarse de manera diferente. En lugar de ver la solicitud como una violación simple, las versiones avanzadas analizan el contexto circundante, reconocen el encuadre complejo y deciden responder a la tarea subyacente. Tratan la frase dañina como una parte legítima de una historia o un ejemplo de diccionario, eludiendo eficazmente la salvaguarda que las versiones más simples habrían impuesto. Esto crea una situación en la que la misma familia de computadoras, entrenada con las mismas reglas de seguridad, produce dos respuestas completamente diferentes dependiendo de qué versión se seleccione.

Para medir esta brecha, un investigador llamado Mohammadreza Rashidi diseñó una serie de pruebas utilizando una frase inofensiva pero grosera, similar a un insulto leve encontrado en estudios de mal comportamiento. El objetivo no era generar un daño real, sino ver si el modelo repetiría esta frase específica cuando se le pidiera bajo diferentes condiciones. El investigador probó seis versiones diferentes del modelo Gemini, que van desde las versiones básicas y rápidas hasta las avanzadas y con mayor capacidad de razonamiento. Para cada versión, el investigador intentó pedir la frase de nueve maneras diferentes. Algunas solicitudes eran directas, mientras que otras estaban envueltas en marcos como pedir al modelo que citara la frase para un artículo de investigación, la incluyera en una historia de ficción, la tradujera o analizara su gramática. Las pruebas se ejecutaron varias veces con diferentes configuraciones aleatorias para asegurar que los resultados fueran consistentes.

Los resultados mostraron una división clara y significativa en el comportamiento. Cuando la solicitud se hacía de forma directa, sin ningún contexto adicional, todas y cada una de las versiones del modelo se negaron a decir la frase. Sin embargo, una vez que la solicitud se envolvía en un marco, el comportamiento cambiaba drásticamente. Las versiones más potentes del modelo, particularmente aquellas diseñadas para el razonamiento complejo, eran mucho más propensas a cumplir. Por ejemplo, cuando se le pedía reproducir la frase como parte de una cita académica, las versiones avanzadas lo hacían casi siempre, mientras que las versiones más simples eran más propensas a rechazar o esquivar la solicitud. Cuando el investigador combinaba los marcos, como pedir una historia de ficción que a su vez se presentaba como una cita académica, las versiones más avanzadas reproducían la frase casi el 100 por ciento de las veces. En toda la familia de modelos, la tasa en la que se reproducía la frase variaba en más de doce puntos porcentuales, una brecha que es lo suficientemente grande como para ser peligrosa en un entorno del mundo real.

El estudio también exploró si un atacante podría explotar esta diferencia sin necesitar ningún acceso especial o entrenamiento. Los investigadores descubrieron que si un atacante probaba la misma solicitud en todas las seis versiones del modelo, podría aumentar sus posibilidades de éxito. Incluso si la versión más popular o "insignia" rechazaba la solicitud, una versión diferente en la misma familia podría decir que sí. Simplemente probando la solicitud en diferentes versiones hasta que una funcionara, un atacante podría aumentar su tasa de éxito en casi cuatro puntos porcentuales. Además, los investigadores encontraron que la decisión de seguridad no siempre era perfectamente estable; incluso dentro de la misma versión, cambiar un ajuste aleatorio a veces podía convertir un rechazo en una aceptación. Esta inestabilidad significa que un atacante podría seguir intentando la misma solicitud con ligeras variaciones hasta obtener el resultado deseado.

Es importante destacar que los investigadores comprobaron si este comportamiento era solo un error aleatorio causado por la aleatoriedad interna de la computadora. Probaron los modelos con configuraciones que obligan a la computadora a ser muy predecible y precisa. Incluso bajo estas condiciones estrictas, los modelos avanzados seguían reproduciendo la frase dañina cuando se envolvía en un marco complejo. Esto demostró que el problema no era un error aleatorio, sino una diferencia fundamental en la forma en que las diferentes versiones del modelo entendían la tarea. Los modelos más avanzados eran tan buenos comprendiendo el contexto de la solicitud que pasaban por alto la señal de seguridad, tratando una frase dañina dentro de una historia como una parte inofensiva de una narrativa.

Las implicaciones de este hallazgo son significativas para la forma en que evaluamos la seguridad de la inteligencia artificial. Actualmente, las empresas suelen probar solo su modelo más avanzado y asumen que los resultados de seguridad se apljan a todas las versiones de esa familia. Este estudio demuestra que esa suposición es incorrecta. Una versión más barata y rápida de un modelo podría ser más segura que la versión insignia, o inversamente, una versión más potente podría ser más vulnerable a trucos ingeniosos. La investigación sugiere que los puntajes de seguridad deben reportarse para cada versión específica de un modelo, no solo para la familia en su conjunto. También destaca que la misma capacidad que hace que los modelos avanzados sean útiles —su capacidad para comprender contextos y marcos complejos— es la misma capacidad que permite eludir las reglas de seguridad cuando dichas reglas no están entrenadas explícitamente para manejar tal complejidad. La solución, sugiere el autor, no es hacer que los modelos sean menos inteligentes, sino entrenarlos para reconocer que una frase dañina es dañina independientemente de la historia o el artículo académico en el que esté envuelta. Hasta que eso suceda, la brecha entre las diferentes versiones de estos modelos sigue siendo una vulnerabilidad oculta que podría ser explotada por cualquiera con acceso a los diferentes niveles del servicio.