En el mundo de la inteligencia artificial, los investigadores han dominado durante mucho tiempo el arte de enseñar a las computadoras a resolver problemas con respuestas claras de correcto o incorrecto. Si se le pide a una máquina que resuelva una ecuación matemática o escriba una línea de código, puede ser probada instantáneamente; la respuesta es correcta o no lo es. Esta claridad ha permitido que los modelos aprendan rápidamente, refinando sus habilidades a través de ciclos interminables de ensayo y error. Sin embargo, las interacciones más significativas entre humanos y máquinas suelen ocurrir en áreas donde no existe una única respuesta correcta. Cuando una computadora actúa como tutor, consejero o compañero creativo, la calidad de su respuesta depende del contexto, la emoción y los valores culturales. ¿Es empático un consejo? ¿Es una idea para una historia tanto original como apropiada? Estas preguntas son "débilmente verificables", lo que significa que no pueden ser comprobadas mediante una fórmula simple. Requieren el juicio humano, el cual es lento, costoso y difícil de escalar. Sin una forma fiable de verificar la calidad, enseñar a una inteligencia artificial a sobresalir en estas tareas centradas en el ser humano ha seguido siendo un cuello de botella persistente.

Un equipo de investigadores de la Universidad Normal de China Oriental y la Universidad de Ciencia y Tecnología de Hong Kong ha propuesto una nueva forma de navegar esta incertidumbre. Desarrollaron un marco llamado Evolución de Datos Agéntica, o ADE (por sus siglas en inglés), que trata la creación de datos de entrenamiento no como un evento único, sino como un proceso continuo y vivo. En lugar de generar una lista masiva de respuestas y esperar que las mejores sobrevivan, el sistema organiza los datos en "instantáneas" que evolucionan con el tiempo. Utiliza un equipo de agentes de inteligencia artificial especializados para observar una respuesta actual, proponer variaciones y luego seleccionar rigurosamente solo aquellos cambios que representan una mejora genuina. Este proceso está diseñado para actuar como una válvula de seguridad, evitando que el sistema se desvíe accidentalmente hacia un peor rendimiento mientras intenta mejorar. Al aplicar este método a escenarios educativos —enfocándose específicamente en cómo un tutor podría apoyar los valores, las emociones y la creatividad de un estudiante—, los investigadores descubrieron que podían elevar constantemente la calidad de las respuestas de la IA sin necesidad de que un humano revise cada uno de los pasos.

El desafío central que abordó el equipo es qué sucede cuando intentas mejorar el comportamiento de una IA en tareas donde no puedes medir fácilmente el éxito. En los métodos tradicionales, los investigadores podrían generar muchas variaciones de una respuesta y elegir la mejor basándose en una verificación rápida. Pero cuando los criterios son complejos, como el "apoyo emocional" o la "innovación creativa", una verificación rápida puede ser engañosa. Una respuesta puede sonar más fluida o segura, pero en realidad ofrecer una guía menos útil. Los investigadores descubrieron que, sin un proceso de selección cuidadoso, las mejoras iterativas pueden conducir a "regresiones silenciosas", donde el modelo empeora con el tiempo sin que nadie lo note porque los cambios parecen superficialmente positivos. Para resolver esto, construyeron un sistema de bucle cerrado que imita una evolución constante y cautelosa.

El proceso comienza con un conjunto de preguntas y respuestas iniciales, que sirven como punto de partida. El sistema entra entonces en un ciclo de observación, variación y selección. Primero, un agente observa una pregunta específica y su respuesta actual, identificando exactamente dónde falla la respuesta basándose en metas específicas, como si respeta los sentimientos de un estudiante o fomenta el pensamiento creativo. A continuación, el sistema genera nuevas versiones de la respuesta. Lo hace de dos maneras: un agente realiza ajustes pequeños y cuidadosos para corregir debilidades inmediatas sin cambiar la estructura general, mientras que otro agente toma riesgos mayores, reorganizando la respuesta para resolver problemas más profundos. Esto crea un pequeño grupo de candidatos: la respuesta original, una revisión conservadora y una revisión agresiva.

La parte más crítica del sistema es la fase de selección, que actúa como un estricto guardián. Antes de que se acepte cualquier versión nueva, esta se compara directamente con la original. El sistema se hace una pregunta simple pero rigurosa: ¿es esta nueva versión claramente mejor? Si la evidencia es ambigua, o si la nueva versión es solo ligeramente diferente pero no definitivamente superior, el sistema rechaza el cambio y conserva la respuesta original. Esta regla de "estado estable" asegura que los datos solo avancen cuando hay pruebas de mejora, actuando efectivamente como un trinquete que evita que la calidad caiga. Los intentos rechazados no se descartan por completo; sus razones de fallo se registran y se utilizan para guiar la siguiente ronda de intentos, ayudando al sistema a aprender qué no hacer.

Para probar si este método realmente funcionó, los investigadores lo aplicaron a un conjunto de datos de 10,000 preguntas y respuestas educativas, centrándose en tres objetivos centrados en el ser humano: ayudar a los estudiantes a navegar decisiones morales, proporcionar apoyo emocional y fomentar la innovación creativa. Hicieron funcionar el sistema a través de múltiples rondas de evolución, creando una serie de conjuntos de datos mejorados. Luego midieron los resultados de tres maneras distintas. Primero, analizaron la calidad intrínseca de las respuestas, comparando las versiones evolucionadas con las originales. Descubrieron que, con cada ronda de evolución, las respuestas mejoraban significamente, con la tasa de éxito de las respuestas mejoradas pasando del 50 por ciento en el conjunto inicial a casi el 76 por ciento tras varias rondas.

Segundo, probaron si estas mejoras realmente ayudaban al modelo de IA cuando este se ponía a trabajar. Entrenaron un modelo de lenguaje con los datos evolucionados y lo probaron en un conjunto separado de 300 preguntas que el modelo nunca había visto. Los resultados mostraron una transferencia clara de habilidades: el modelo entrenado con los datos evolucionados ganó el 68.86 por ciento de las comparaciones contra un modelo entrenado con los datos originales. Esto demostró que las mejoras no eran solo cambios superficiales que el sistema "gustaba", sino mejoras genuinas en la forma en que el modelo manejaba tareas educativas complejas. Finalmente, para asegurar que el sistema no se estaba engañando a sí mismo, contaron con expertos humanos para evaluar las respuestas de forma ciega. Los expertos prefirieron las respuestas evolucionadas el 66.11 por ciento de las veces, confirmando que el proceso automatizado estaba alineado con el juicio humano.

El estudio también exploró si estas ganancias eran específicas de las tareas educativas o si ayudaban al modelo en otras áreas. Probaron el modelo mejorado en problemas matemáticos y en la detección de lenguaje tóxico, ambos con respuestas objetivas y claras. Incluso en estos campos no relacionados, el modelo entrenado con los datos evolucionados funcionó mejor, mostrando un aumento pequeño pero constante en la precisión. Esto sugiere que el proceso de evolucionar cuidadosamente los datos para metas centradas en el ser humano fortalece la capacidad general de razonamiento del modelo y su alineación con los valores humanos, en lugar de simplemente enseñarle a imitar un estilo específico de tutoría.

Los investigadores reconocen que su método requiere más potencia de cómputo que los enfoques más simples porque involucra múltiples agentes trabajando en un bucle. Sin embargo, argumentan que este costo es necesario para evitar el riesgo de que el modelo se desvíe hacia un mal desempeño. Al tratar los datos como algo que puede evolucionar y refinarse con el tiempo, en lugar de un recurso estático generado una sola vez, han demostrado un camino práctico para enseñar a la inteligencia artificial las habilidades sutiles y dependientes del contexto que definen la interacción humana. El trabajo sugiere que, para las tareas más difíciles e importantes, la clave del progreso no reside en generar más datos, sino en evolucionar los datos que ya tenemos con paciencia y precisión.