Constrained Semantic Decompression in LLMs through Persian Proverb-Conditioned Story Generation

Resumen Técnico: Descompresión Semántica Restringida en LLMs mediante la Generación de Historias Condicionadas por Proverbios Persas

Definición del Problema
El artículo formaliza el desafío de transformar el conocimiento cultural denso y abstracto en narrativas atractivas como una tarea de descompresión semántica restringida. Específicamente, investiga la capacidad de los Modelos de Lenguaje de Gran Escala (LLMs) para generar historias condicionadas por proverbios persas. A diferencia de la escritura creativa abierta, esta tarea requiere que los modelos instancien fielmente la lógica moral subyacente y la estructura causal codificada en un proverbio, cumpliendo al mismo tiempo con restricciones como la coherencia narrativa, la longitud y la adecuación para niños. Los autores postulan que esto sirve como un banco de pruebas riguroso para evaluar las capacidades de "abstracción-a-realización", sondeando si los modelos pueden cerrar la brecha entre la sabiduría cultural abstracta y la forma narrativa concreta.

Metodología
Para estudiar este problema, los autores introducen el Conjunto de Datos de Narrativas Alineadas con Proverbios (PAND), un corpus curado de 150 instancias. Cada instancia empareja un proverbio persa con su significado moral explícito y un cuento corto escrito por humanos para niños. El conjunto de datos fue construido mediante el rastreo de recursos literarios persas y la verificación manual de que todo el contenido es anterior a la era de los LLM para evitar la contaminación sintética.

El estudio evalúa una gama de modelos propietarios (GPT-4.1) y de pesos abiertos (Gemma 3 12B/27B, Mistral Small 3.2 24B) a través de tres regímenes de prompting distintos:

1. Puro: Los modelos generan historias utilizando solo el proverbio y los límites de palabras, probando el razonamiento intrínseco mediante estrategias como Zero-Shot, Persona, Cadena de Pensamiento Moral (CoT) y CoT de Esquema.
2. Asistido por Superficie: Los prompts se aumentan con señales de nivel superficial de las historias de referencia humanas (por ejemplo, condicionamiento de prefijo o inclusión de palabras clave) para probar la dependencia de señales léxicas frente al anclaje semántico.
3. Guiado por Retroalimentación: Un bucle de refinamiento iterativo que involucra tres personas: un Escritor (genera un borrador), un Crítico (califica y proporciona retroalimentación basada en criterios específicos) y un Editor (revisa la historia). Este régimen pone a prueba si el razonamiento explícito y la crítica iterativa pueden mitigar los fallos de descomposición.

La evaluación emplea un marco híbrido que combina:

• LLM-como-Juez Calibrado por Humanos: Un modelo Gemini 2.5 Pro calibrado evalúa cinco métricas subjetivas: Relación, Creatividad, Fluidez, Idoneidad para Niños y Calidad General.
• Métricas Estructurales: Medidas objetivas que incluyen Diversidad Léxica y Semántica, Novedad, Sorpresa y Legibilidad (Flesch-Dayani) para cuantificar la estructura narrativa y la desviación de las líneas base humanas.

Resultos Clave
Los experimentos revelan una persistente brecha de descompresión: los LLM actuales logran frecuentemente puntuaciones altas de fluidez superficial y adecuación para niños, pero fallan en instanciar fielmente las estructuras morales y causales más profundas de los proverbios.

• Fluidez vs. Anclaje: Los modelos a menudo generan texto gramaticalmente correcto y atractivo que carece del alineamiento moral pretendido. Los modelos de pesos abiertos más pequeños exhiben puntuaciones de "Relación" particularmente bajas en comparación con los referentes humanos.
• Impacto del Prompting: Las estrategias que separan explícitamente la interpretación semántica de la realización narrativa, particularmente la CoT Moral, rinden consistentemente puntuaciones más altas de Relación y de Calidad General. Por el contrario, las estrategias asistidas por superficie (por ejemplo, Condicionamiento de Prefijo) suelen restringir la diversidad semántica, lo que conduce a una menor novedad y sorpresa.
• Refinamiento Iterativo: El régimen Guiado por Retroalimentación demuestra que los errores de descomposición no se deben necesariamente a una falta de conocimiento, sino a dificultades para traducir el significado abstracto en forma narrativa. El refinamiento iterativo, especialmente cuando se utiliza un modelo más fuerte (Gemma 3 27B) como crítico para un escritor más débil (Gemma 3 12B), mejora significamente el anclaje semántico y la calidad creativa, permitiendo que los modelos más pequeños se acerquen al rendimiento de las líneas base propietarias de un solo paso.
• Validación Humana: Un estudio de preferencia pareada a ciegas confirmó que los anotadores humanos prefirieron las historias refinadas sobre los borradores iniciales en el 65% de los casos, validando la evaluación del juez LLM sobre la mejora.

Significación y Contribuciones
El artículo realiza cuatro contribuciones primarias:

1. Formalización de la Tarea: Define la generación de historias condicionada por proverbios como una tarea de descompresión semántica restringida, ofreciendo un nuevo marco para evaluar la abstracción-a-realización en los LLM.
2. Creación de Conjunto de Datos: Introduce PAND, el primer conjunto de datos persa que empareja proverbios con significados explícitos e historias escritas por humanos para evaluar la generación narrativa con anclaje cultural.
3. Hallazgos Empíricos: Identifica un desacoplamiento sistemático entre la fluidez superficial y el anclaje semántico, resaltando una limitación fundamental en la capacidad de los modelos actuales para preservar la lógica moral durante la generación.
4. Estrategias de Mitigación: Demuestra que el razonamiento explícito (CoT) y el refinamiento iterativo pueden reparar parcialmente estos fallos, sugiriendo que la "brecha de descompresión" es un desafío solucionable mediante un mejor prompting y políticas de refinamiento, en lugar de una falta insuperable de conocimiento cultural.

Los autores concluyen que, si bien los modelos de última generación muestran una fuerte competencia lingüística, su capacidad para transformar el conocimiento cultural comprimido en narrativas ancladas sigue siendo un desafío significativo. Sugieren que el trabajo futuro podría extender este marco a otras formas de conocimiento comprimido (por ejemplo, fábulas, máximas legales) y explorar la internalización de la dinámica escritor-crítico a través del entrenamiento en lugar de solo mediante el prompting.