Resumen Técnico: TF1-EN-3M

Enunciado del Problema

Aunque los cuentos morales (fábulas) son un medio probado para transmitir valores, el Procesamiento del Lenguaje Natural (PLN) moderno carece de un corpus estructurado a gran escala que vincule narrativas coherentes con lecciones éticas explícitas. Las colecciones clásicas existentes (por ejemplo, las Fábulas de Esopo) son demasiado pequeñas para el modelado basado en datos, y la generación actual de datos sintéticos a menudo carece del rigor estructural específico requerido para tareas de razonamiento moral. Además, existe la necesidad de determinar si los modelos de lenguaje (LLM) compactos y de pesos abiertos, ejecutándose en hardware de consumo, pueden generar de manera fiable narrativas instructivas y de alta calidad sin depender de modelos gigantes propietarios o de infraestructura costosa de evaluación basada en API.

Metodología

1. Diseño de Prompts y Generación de Datos

Los autores desarrollaron un motor de prompts combinatorio para generar 3.000.000 de fábulas únicas en inglés. El proceso de generación se basa en una estructura de seis ranuras derivada de la teoría narrativa:

• Personaje: Protagonista (por ejemplo, arquetipo animal o humano).
• Rasgo: Un atributo definitorio (por ejemplo, codicioso, amable).
• Escenario: Ubicación contextual.
• Conflicto: El desafío o dilema central.
• Resolución: El resultado que demuestra un juicio moral.
• Moral: La lección ética explícita.

El espacio de entrada se define mediante el producto cartesiano de listas curadas para cada ranura ($T = n \times m \times k \times c \times r \times l$), donde cada parámetro se estableció en 100 opciones. Para garantizar la calidad, el sistema emplea:

• Mensajes del Sistema: Enmarcar la tarea como escritura de fábulas morales con restricciones específicas sobre el tono, la audiencia (dirigida a edades de 4 a 7 años) y la estructura.
• Restricciones Estilísticas: Instrucciones para "mostrar, no contar", evitar nombres de personajes, utilizar vocabulario sencillo y mantener una longitud concisa (~250 palabras).
• Medidas de Seguridad en el Muestreo: Muestreo aleatorio uniforme con deduplicación, filtrado de frecuencia para combinaciones comunes y equilibrio de cobertura para asegurar que cada ranura aparezca por igual.

2. Marco de Evaluación

Para seleccionar el generador óptimo, los autores evaluaron diez LLMs de pesos abiertos y ajustados a instrucciones (que van desde 1B hasta 32B parámetros) utilizando una pipeline multifacética:

• Panel de LLMs Múltiples Jueces: Tres modelos de pesos abiertos de familias distintas (Granite 4.1 30B, EXAONE 3.5 32B y Granite 3.3 8B) puntuaron 1.000 fábulas generadas cada uno en cuatro dimensiones: Gramática y Estilo, Creatividad, Claridad Moral y Adherencia al Prompt.
• Métricas sin Referencia: Estadísticas a nivel de corpus que incluyen Self-BLEU (diversidad), Distinct-1 (riqueza léxica) y Facilidad de Lectura Flesch (legibilidad).
• Clasificación por Grupo de Edad: Un clasificador LLM asignó cada historia a una de cinco franjas de edad (A–E) para verificar la alineación con el grupo demográfico objetivo (4–7 años).
• Puntuación Compuesta: Se calculó una puntuación ponderada ($W_m$), priorizando la Adherencia al Prompt (0.35) y la Claridad Moral (0.20), seguidas por Gramática, Creatividad y las métricas sin referencia.

3. Selección del Modelo

Se probaron diez candidatos, incluidas variantes de Llama-3, Mistral, Qwen, Falcon y Phi. Aunque Llama-3.1-Tulu-3-8B logró la puntuación compuesta más alta (0.957) basada en métricas crudas, se seleccionó Llama-3.1-8B-Instruct para la generación a gran escala. Esta decisión se vio impulsada por su superior alineación con el grupo de edad objetivo (el 92% de sus salidas se clasificó como adecuado para edades de 4 a 7 años) y su favorable compensación calidad-costo en hardware de consumo.

Contribuciones Clave

1. Conjunto de Datos TF1-EN-3M: El lanzamiento del primer conjunto de datos abierto a gran escala de fábulas sintéticas en inglés, que contiene 3 millones de historias. Cada entrada incluye la narrativa, el prompt estructurado y los metadatos de generación (conteo de tokens, latencia, costo, especificaciones de hardware).
2. Generación Eficiente de Pesos Abiertos: Demostración de que contenido instructivo y de alta calidad puede generarse a escala utilizando modelos con 1–8 mil millones de parámetros. Todo el corpus se generó por aproximadamente $405.76 (aprox. $0.135 por cada 1.000 fábulas) en hardware de grado de consumo.
3. Evaluación Reproducible con Múltiples Jueces: Un marco totalmente reproducible que utiliza un panel de jueces LLM de pesos abiertos de familias distintas, combinado con métricas sin referencia. Este enfoque evita la dependencia de infraestructura de evaluación propietaria mientras mitiga el sesgo de preferencia propia.

Resultados

• Calidad del Conjunto de Datos: El corpus final exhibe una alta diversidad léxica (Distinct-1 = 0.452) y legibilidad (puntuación de Facilidad de Lectura Flesch de 78.9, correspondiente a un nivel de 5.5 grado), alineándose con la audiencia objetivo de lectores jóvenes. La detección de casi-duplicados confirmó que el enfoque combinatorio produjo narrativas genuinamente distintas.
• Rendimiento del Modelo: Los modelos modernos ajustados a instrucciones de 7–8B convergieron en calidad, con los mejores exponentes (Llama-3.1-Tulu-3-8B, Falcon3-7B-Instruct, Llama-3.1-8B-Instruct) obteniendo puntuaciones altas en todos los ejes. Los modelos más pequeños (por ejemplo, 1B–3B) mostraron un fuerte potencial para aplicaciones de baja latencia.
• Fiabilidad de la Evaluación: El panel de jueces de pesos abiertos mostró un fuerte acuerdo en el orden de clasificación con un juez propietario (GPT-o4-mini), con un $\tau$ de Kendall de 0.78, validando que los modelos abiertos pueden sustituir a la infraestructura de evaluación propietaria en la selección de modelos.
• Seguridad del Contenido: Un escaneo de seguridad de 5.000 muestras reveló que el 87.8% no contenía palabras clave marcadas. Los términos marcados restantes (por ejemplo, "robar", "pelear") aparecieron en contextos didácticos que reforzaban valores prosociales, sin detectar contenido grave.

Significado y Afirmaciones

El artículo afirma que TF1-EN-3M abre nuevas vías para la investigación en seguimiento de instrucciones, inteligencia narrativa, alineación de valores e IA educativa amigable para niños. Los autores afirman que la narración moral a gran escala no requiere modelos gigantes propietarios ni infraestructura de evaluación costosa.

Al proporcionar un recurso que vincula narrativas coherentes con lecciones éticas explícitas, el conjunto de datos permite:

• Ajuste fino de modelos más pequeños para la generación de fábulas y la evaluación del razonamiento moral.
• Entrenamiento de clasificadores o modelos de preguntas y respuestas sobre contenido moral.
• Evaluación comparativa de modelos generativos en alineación narrativa y razonamiento de sentido común.

El trabajo enfatiza que, con ingeniería de prompts enfocada y pipelines curados, los modelos abiertos de tamaño medio pueden producir narrativas diversas y temáticamente éticas, haciendo que la IA cargada de valores sea más accesible y socialmente fundamentada. Los autores señalan explícitamente las limitaciones, reconociendo que el conjunto de datos refleja las tradiciones de fábulas occidentales y puede carecer de la sutileza para dilemas éticos contemporáneos complejos, sugiriendo que el trabajo futuro debería explorar morales de múltiples capas y contextos culturales diversos.