En el mundo de la inteligencia artificial moderna, los grandes modelos de lenguaje son como vastas bibliotecas de conocimiento humano, capaces de escribir historias, resolver ecuaciones y responder preguntas. Sin embargo, estas bibliotecas no están organizadas naturalmente para ser útiles, seguras u obedientes a las instrucciones humanas. Para solucionar esto, los investigadores utilizan un proceso llamado alineación, que actúa como una etapa final de entrenamiento para enseñar al modelo cómo comportarse como un buen asistente. El método estándar para esto involucra una técnica conocida como aprendizaje por refuerzo, donde el modelo prueba diferentes respuestas, recibe una puntuación según qué tan buenas sean y luego utiliza matemáticas complejas para ajustar sus configuraciones internas para obtener una mejor puntuación la próxima vez. Este proceso es poderoso, pero también es increíblemente pesado. Requiere enormes cantidades de potencia informática, hardware especializado y comunicación constante entre muchos procesadores, lo que lo hace costoso y difícil de escalar para los modelos más grandes.

Un equipo de investigadores de T-Tech y Yandex ha propuesto un camino diferente, uno que se salta los pesados ajustes matemáticos por completo. Llaman a su nuevo método ESSA, que significa Estrategias Evolutivas para la Alineación Escalable (Evolutionary Strategies for Scalable Alignment). En lugar de calcular cómo empujar al modelo en la dirección correcta, ESSA trata al modelo como un organismo vivo en una simulación. Crea muchas versiones ligeramente diferentes del modelo, las prueba todas a la vez para ver cuál rinde mejor y luego conserva los mejores rasgos mientras descarta el resto. Este enfoque elimina la necesidad de los complejos cálculos hacia atrás que ralentizan los métodos tradicionales. Al enfocarse solo en una parte pequeña y específica de las configuraciones del modelo y utilizar una estrategia que imita la selección natural, los investigadores descubrieron que podían alinear modelos masivos mucho más rápido y con mucha menos potencia de cómputo que antes, logrando resultados que igualan o incluso superan a los métodos actuales de vanguardia.

La idea central detrás de ESSA es dejar de intentar ajustar cada uno de los números dentro del modelo. Los grandes modelos de lenguaje contienen miles de millones de estos números, y cambiarlos todos a la vez es como intentar dirigir un superpetrolero moviendo cada uno de los tornillos de su casco. Los investigadores se dieron cuenta de que, tras una fase de entrenamiento inicial, el modelo ya sabe cómo realizar la tarea básica. Lo que necesita es un ajuste fino, un pequeño ajuste en su comportamiento. Para lograr esto, utilizaron una técnica llamada Adaptación de Bajo Rango (Low-Rank Adaptation), que añade una capa pequeña y flexible al modelo, y luego descomponían esa capa en sus componentes más esenciales. Congelaron la dirección de estos componentes y solo permitieron que el tamaño, o magnitud, de unos pocos números clave cambiara. Esto redujo el problema de ajustar miles de millones de variables a ajustar solo unos pocos miles, creando un espacio compacto donde una estrategia de búsqueda pudiera funcionar eficientemente.

En esta nueva configuración, la computadora genera una población de modelos candidatos, cada uno con configuraciones ligeramente diferentes para esos pocos miles de números. Cada candidato es probado en un conjunto de problemas, como resolver ecuaciones matemáticas o seguir instrucciones estrictas, y recibe una puntuación. El sistema luego observa las puntuaciones para decidir qué candidatos fueron los más exitosos. En lugar de calcular gradientes, que son pendientes matemáticas complejas utilizadas para encontrar la mejor dirección para moverse, el sistema simplemente selecciona a los ganadores y utiliza sus configuraciones como el punto de partida para la siguiente ronda de variaciones. Este proceso se repite, con la población evolucionando lentamente hacia un mejor rendimiento. Debido a que el sistema solo necesita ejecutar el modelo hacia adelante para obtener una puntuación, puede ejecutarse en computadoras que utilizan un formato de números de precisión simplificada, lo que ahorra aún más memoria y velocidad.

Los investigadores probaron este método en una amplia variedad de tareas, incluyendo el seguimiento de instrucciones, actuar como un asistente útil y resolver problemas matemáticos difíciles. Compararon ESSA contra los métodos líderes que utilizan el pesado enfoque matemático tradicional. En tareas que involucran razonamiento matemático, ESSA funcionó tan bien como los mejores métodos existentes y, en algunos casos, fue significativamente más rápido. Por ejemplo, al entrenar un modelo grande en un clúster de 128 potentes procesadores gráficos, ESSA alcanzó un nivel específico de precisión casi ocho veces más rápido que el método estándar. Esta aceleración no se debió a que ESSA necesitara menos ejemplos para aprender, sino porque cada paso de su proceso era mucho más ligero y podía ejecutarse en paralelo sin los cuellos de botella que ralentizan el enfoque tradicional.

El estudio también exploró qué tan bien funciona este método con diferentes tamaños de modelos y diferentes tipos de tareas. Descubrieron que ESSA seguía siendo efectivo incluso cuando el modelo se escalaba a 72 mil millones de parámetros, un tamaño que típicamente es muy difícil de alinear eficientemente. En estas pruebas a gran escala, el método pudo ejecutarse con un modelo candidato por cada procesador gráfico, una hazaña que sería imposible con el método tradicional debido a las restricciones de memoria. Los investigadores también verificaron si el método funcionaba cuando el entrenamiento inicial se realizaba sobre un tema diferente al objetivo final, como entrenar en conversación general pero probar en el seguimiento estricto de reglas. El método resistió bien, demostrando que la búsqueda evolutiva podía encontrar los ajustes correctos incluso partiendo de un fundamento ligeramente distinto.

Uno de los halliros más sorprendentes fue que el método no requería las configuraciones complejas y finamente ajustadas que demandan los métodos tradicionales. Los investigadores probaron diferentes tamaños para la población de candidatos y encontraron que un número moderado solía ser suficiente para obtener excelentes resultados. También descubrieron que el método es robusto ante cambios en cuánto de las configuraciones del modelo se permite cambiar. Esta estabilidad sugiere que el enfoque evolutivo es menos sensible a las elecciones específicas del ingeniero, lo que lo hace más fácil de usar en la práctica. Además, el método funcionó bien incluso cuando la computadora utilizaba una menor precisión para sus cálculos, perdiendo solo una fracción mínima de precisión mientras ganaba una velocidad y eficiencia de memoria significativas.

El artículo también abordó qué sucede cuando el método se compara con otras formas de buscar las mejores configuraciones. Los investigadores probaron diferentes tipos de estrategias evolutivas y encontraron que, si bien algunas eran ligeramente mejores al final, la estrategia específica que eligieron era la más confiable para obtener buenos resultados rápidamente. También compararon su método con una versión que intentaba usar las mismas configuraciones simplificadas pero con el enfoque matemático tradicional. El método evolutivo superó consistentemente a este híbrido, demostrando que la forma en que se realizaba la búsqueda era tan importante como las configuraciones que se buscaban. Esto sugiere que la vieja idea de usar la selección natural para entrenar máquinas no es solo un plan de respaldo, sino una alternativa poderosa que puede superar a las herramientas estándar en las condiciones adecuadas.

Al final, el trabajo demuestra que la maquinaria pesada y compleja de la alineación moderna no es la única vía a seguir. Al simplificar el problema a una búsqueda de las mejores configuraciones entre un pequeño grupo de candidatos, y al aprovechar el poder de la computación paralela, los investigadores demostraron que los modelos grandes pueden alinearse de manera rápida y eficiente. El método no reemplaza el entrenamiento inicial que otorga al modelo su conocimiento básico, sino que proporciona una nueva y más ligera forma de dar forma a ese conocimiento para convertirlo en un asistente útil. A medida que los modelos continúan creciendo, este enfoque ofrece un camino práctico para mantenerlos alineados sin requerir una cantidad imposible de potencia de cómputo, sugiriendo que el futuro de la alineación de la IA puede residir en estrategias más simples y directas en lugar de fórmulas matemáticas cada vez más complejas.