Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

Imagina que tienes un robot muy inteligente que fue entrenado para ser el asistente más útil de todos. Es tan educado y ansioso por complacer que nunca te lleva la contraria, nunca te hace preguntas difíciles y simplemente asiente ante todo lo que dices, sin importar lo absurdo o triste que sea. Así es como están construidos la mayoría de los chatbots de IA modernos: están programados para ser "yes-men" pasivos. Pero, ¿qué pasaría si quisieras un robot que actuara más como un mentor sabio y ligeramente obstinado? Uno que te cuestione, que pregunte "¿Por qué?" en lugar de dar respuestas, y que te obligue a pensar por ti mismo. Esta es la gran pregunta que el investigador planteó. Querían saber si podían "reprogramar" a estos robots educados para que se convirtieran en pensadores proactivos y cuestionadores sin romper sus cerebros o necesitar una supercomputadora del tamaño de una ciudad. Para lograr esto, utilizaron una técnica llamada "ajuste fino" (fine-tuning), que es como darle al robot un curso intensivo muy específico y corto para cambiar su personalidad, y "optimización de preferencias", que es como enseñarle a elegir el tipo de respuesta correcta sobre la incorrecta. El objetivo era ver si un robot podía aprender una nueva personalidad asertiva rápidamente y si esa nueva personalidad funcionaría en diferentes idiomas.

La investigadora, Lucia Malíˇcková, se propuso probar exactamente qué tan "plástica" (o moldeable) es realmente la personalidad de estos modelos de IA de pesos abiertos. No se limitaron a retocar algunos ajustes; realizaron un experimento masivo en la supercomputadora Leonardo en Eslovaquia, utilizando 50,000 horas de potencia de cálculo para ejecutar 405 trabajos diferentes a la vez. Piensa en esto como intentar encontrar la receta perfecta para una nueva personalidad horneando 405 pasteles diferentes, cada uno con cantidades ligeramente distintas de harina, azúcar y huevos, para ver cuál sabe mejor.

Su principal descubrimiento es que, de hecho, puedes convertir a un robot pasivo y servil en uno proactivo y socrático, pero solo si sigues un conjunto de reglas muy estrictas. Primero, no puedes empezar con un robot bruto, sin entrenar; debes empezar con uno que ya sepa seguir instrucciones. Intentar enseñar a un robot bruto a ser asertivo es como intentar enseñarle a un bebé a debatir filosofía; simplemente se confunde y olvida cómo hablar correctamente. Segundo, la "receta" para la nueva personalidad es sorprendentemente pequeña. Encontraron que usar un ajuste específico y diminuto llamado LoRA (Low-Rank Adaptation) con un "rango" de 16 funcionaba mejor. Si hacían el ajuste demasiado grande (rango 32), el robot se confundía y memorizaba los datos de entrenamiento con demasiada perfección, fallando al generalizar. Si era demasiado pequeño (rango 8), no podía aprender lo suficiente. Era la zona "Goldilocks" (el punto justo) de 16 lo que funcionaba.

Quizás el hallazgo más sorprendente fue lo corto que debía ser el entrenamiento. La investigadora descubrió que el robot aprende esta nueva personalidad en una ventana de tiempo muy estrecha: entre 2 y 3 "épocas" (que son simplemente pasadas completas a través de los datos de entrenamiento). Si lo entrenaban durante solo una época, el robot no aprendía lo suficiente. Pero si continuaban durante 5, 7 o 10 épocas, el robot empezaba a sufrir de "sobreajuste" (overfitting). Imagina a un estudiante que estudia para un examen durante demasiado tiempo; deja de entender los conceptos y simplemente empieza a memorizar las preguntas y respuestas exactas, fallando al aplicar el conocimiento a nuevas situaciones. El robot hacía lo mismo: después de 3 épocas, dejaba de ser un buen pensador y simplemente empezaba a repetir los datos de entrenamiento, perdiendo su capacidad para manejar nuevas conversaciones.

También probaron si esta personalidad "socrática" podía saltar a través de los idiomas. Entrenaron al robot usando datos en eslovaco y luego le hicieron preguntas en inglés, español, alemán y otros. Los resultados fueron agridulces. El robot era muy bueno siendo breve y directo en todos los idiomas, pero su capacidad para hacer las preguntas correctas dependía del idioma. Fue muy bueno haciendo preguntas en español (60% de las veces) e inglés (30% de las veces), pero falló por completo al hacer preguntas en alemán, portugués y en el propio eslovaco (0% en algunas pruebas). Esto sugiere que, si bien el robot aprendió el hábito de ser breve, la habilidad específica de hacer preguntas profundas no se transfirió perfectamente a los idiomas que son muy diferentes al que fue entrenado.

Finalmente, utilizaron una técnica llamada Optimización de Preferencias Directas (DPO) para enseñarle al robot a elegir respuestas cortas y de cuestionamiento sobre las largas y educadas. Este fue el toque final que convirtió a un robot que solo intentaba ser asertivo en uno que realmente era asertivo. Antes de este paso, el robot todavía escribía párrafos largos y divagantes. Después de DPO, aprendió a reducir sus respuestas a un promedio de solo 3 palabras, terminando a menudo con un signo de interrogación. Por ejemplo, en lugar de escribir una larga conferencia sobre por qué deberías hacer ejercicio, simplemente preguntaría: "¿Cuántos días?".

Al final, el artículo demuestra que puedes reprogramar la personalidad de una IA para que sea un entrenador proactivo y cuestionador, pero requiere una configuración muy específica: comienza con un modelo ajustado para instrucciones, usa un tamaño de ajuste pequeño (rango 16), detén el entrenamiento exactamente entre 2 y 3 épocas, y usa la optimización de preferencias para eliminar el relleno. Si bien esto funciona maravillosamente para idiomas similares a los datos de entrenamiento, el robot todavía tiene dificultades para mantener esta nueva personalidad en idiomas que están demasiado lejos de sus raíces de entrenamiento. La investigadora demostró que con la matemática adecuada y un poco de potencia de supercomputación, podemos remodelar el comportamiento de la IA, pero tenemos que tener cuidado de no cocinar demasiado la receta.