DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

Imagina que tienes un amigo robot superinteligente que sabe casi todo sobre el mundo. Puedes pedirle que resuelva un problema matemático difícil o un acertijo de lógica, y normalmente lo logra. Pero aquí está el truco: una vez que apagas al robot y lo vuelves a encender, olvida todo lo que aprendió de tus preguntas específicas. Es como tener a un genio que se despierta cada mañana con la mente en blanco, incapaz de recordar los errores que cometió ayer o los trucos ingeniosos que descubrió. Por lo general, para hacer a un robot más inteligente, tienes que recablear su cerebro (un proceso llamado "entrenamiento"), lo cual es costoso, lento y requiere un acceso especial que muchas personas no tienen.

Así que, los científicos se han estado haciendo una gran pregunta: ¿Puede un robot congelado aprender sin recablear su cerebro? La respuesta reside en algo llamado "prompting" (instrucciones). En lugar de cambiar el cerebro del robot, puedes cambiar las instrucciones que le das. Piensa en ello como darle a un chef una nueva tarjeta de recetas. Si la tarjeta dice: "Recuerde salar la sopa", el chef podría hacerlo mejor. Pero si el chef sigue cometiendo el mismo error, una simple nota podría no ser suficiente. Necesitas una forma de que el chef escriba por qué falló, determine una mejor estrategia y convierta esa estrategia en una regla permanente en su tarjeta de recetas, todo sin cambiar sus habilidades de cocina reales. Esto es la frontera de la "automejora" para la IA: enseñar a un modelo estático a volverse más inteligente simplemente hablando consigo mismo y aprendiendo de sus propias experiencias.

Entra DIVE (Evolución de Habilidades Impulsada por la Diversidad), un nuevo método que actúa como un taller brillante y caótico para estos robots congelados. Los investigadores descubrieron que, en lugar de intentar encontrar el conjunto de instrucciones "perfecto", es mejor ejecutar un equipo entero de diferentes "versiones" del robot, cada una intentando aprender de una manera ligeramente distinta.

Así es como funciona DIVE, imagina un grupo de diez detectives diferentes tratando de resolver un misterio. En el pasado, los investigadores podrían haber pedido a un solo detective que resolviera el caso, cometiera un error y luego intentara corregir sus notas. Pero DIVE dice: "¡Hagamos que diez detectives trabajen en el caso al mismo al mismo tiempo!". Cada detective comienza con un conjunto de notas ligeramente diferente (una "semilla de habilidad"). A medida que trabajan, reciben retroalimentación sobre dónde se equivocaron.

En lugar de que un solo detective intente arreglar sus notas, DIVE utiliza una caja de herramientas de diferentes "estrategias de reparación". Un detective podría intentar la Reparación Reflexiva, que es como mirar un error y decir: "Oh, pasé por alto una pista aquí, déjame añadir una nota sobre eso". Otro podría intentar la Revisión Exploratoria, que es como tirar el mapa viejo y dibujar uno completamente nuevo porque el camino anterior es un callejón sin salida. Un tercero podría intentar la Compresión, que es como tomar un cuaderno desordenado de 50 páginas y condensarlo en una hoja de referencia concisa de 5 páginas que mantenga solo las reglas más importantes.

La magia de DIVE es que no solo elige al mejor detective y se detiene. Mantiene a los diez detectives trabajando en paralelo. Observa qué detective está mejorando en qué tipo de problema y les da más tiempo para trabajar. Si un detective se queda estancado, el sistema puede introducir una nueva y fresca estrategia para ayudarlo. Esto evita que todo el grupo se quede atrapado en la misma idea errónea (un problema llamado "sobreajuste" o overfitting).

Una vez que los detectives han tenido su oportunidad de aprender y evolucionar, DIVE no solo elige al que tiene la puntuación más alta. En su lugar, observa a todo el equipo y elige un escuadrón complementario. Tal vez el Detective A es excelente detectando patrones numéricos, mientras que el Detective B es increíble detectando trampas lógicas. Al combinar sus "tarjetas de habilidades" únicas y evolucionadas en una sola caja de herramientas, el robot puede resolver problemas que antes no podía resolver.

El artículo muestra que este método funciona increíblemente bien. Al ser probado en competencias matemáticas difíciles (como HMMT) y complicados acertijos de lógica (como el Sudoku), DIVE permitió que modelos pequeños y congelados aprendieran y mejoraran rápidamente. De hecho, un modelo diminuto utilizando las habilidades evolucionadas de DIVE fue capaz de superar a un modelo mucho más grande y potente que solo utilizaba instrucciones estándar. Los investigadores encontraron que DIVE podía lograr estas grandes mejoras con muchos menos intentos (o "ejecuciones") que otros métodos que intentan cambiar el cerebro del modelo o simplemente ajustar el prompt una sola vez.

Crucialmente, el artículo argumenta que este enfoque es mejor que intentar encontrar un único "prompt mágico" o depender de un único camino de aprendizaje. Al mantener un grupo diverso de habilidades en evolución y mezclar las mejores partes de cada una, DIVE crea un sistema robusto y de automejora que no necesita ser recableado. Sugiere que, para los modelos congelados, el secreto para volverse más inteligente no es una instrucción perfecta, sino una biblioteca diversa y evolutiva de estrategias de las cuales el modelo puede extraer para resolver cualquier problema.