💬 NLP

Example-Guided Prompting for Document-Level Text Simplification

Este artículo demuestra que aumentar los prompts con ejemplos de simplificación de documentos recuperados mejora significativamente la calidad de la simplificación de texto a nivel de documento en modelos de lenguaje extensos, logrando un rendimiento competitivo o superior al de los sistemas supervisados especializados sin requerir un ajuste fino específico para la tarea.

Autores originales: Marina Litvak, Ariel Perstin, Ilan Shtilman, Michael Färber

Publicado 2026-08-07

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Marina Litvak, Ariel Perstin, Ilan Shtilman, Michael Färber

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo reescribir una historia complicada para que un niño pequeño pueda entenderla. Este es el mundo de la simplificación de textos, un campo donde los científicos de la computación enseñan a las máquinas a tomar una escritura densa, de nivel adulto, y convertirla en algo claro y fácil de leer, sin perder el significado original. Durante mucho tiempo, la mejor manera de hacer esto era entrenar al robot con miles de ejemplos específicos hasta que memorizara las reglas. Pero recientemente, llegó un nuevo tipo de robot súper inteligente llamado Modelo de Lenguaje de Gran Escala (LLM). Estos modelos son como estudiantes brillantes que pueden seguir instrucciones y aprender nuevos trucos simplemente leyendo una instrucción (o "prompt"), sin necesidad de ser reentrenados desde cero. Sin embargo, incluso estos robots inteligentes a veces se confunden cuando se les pide que reescriban un libro entero o un artículo de una sola vez. Podrían cambiar el significado, perder el flujo de la historia o hacer que sea demasiado simple en algunas partes y demasiado difícil en otras. La gran pregunta que los investigadores se hacen es: ¿Cómo le damos a estos robots la mejor guía posible para que hagan un trabajo perfecto?

Este artículo presenta una solución ingeniosa llamada Prompting Guiado por Ejemplos (EGP). Piénsalo de esta manera: si le pidieras a un estudiante que escribiera un resumen de un complejo artículo científico, podrías simplemente darle un conjunto de reglas escritas (un "prompt"). Pero, ¿y si además le entregaras algunos ejemplos de cómo otros estudiantes simplificaron con éxito artículos similares? Los investigadores descubrieron que dar al robot estas "hojas de referencia" de ejemplos del mundo real funciona de maravilla. Probaron esta idea utilizando una colección de artículos de noticias educativos llamada el corpus OneStopEnglish. Tomaron documentos complejos y pidieron a cinco robots diferentes de última generación que los simplificaran. En un grupo, los robots solo recibieron las instrucciones escritas. En el otro grupo, los robots recibieron las instrucciones más tres ejemplos similares de documentos que ya habían sido simplificados correctamente.

Los resultados fueron bastante reveladores. Cuando se les mostraron estos ejemplos a los robots, generalmente hicieron un trabajo mucho mejor. Específicamente, el robot llamado Claude Haiku 4.5 vio cómo su puntuación de rendimiento saltaba de 40.78 a 44.84, y también mantuvo el significado original del texto mucho mejor que antes. Otros robots como Gemini 2.0 Flash y Sonar también mejoraron significativamente. De hecho, este truco simple de mostrar ejemplos permitió que estos robots superaran o igualaran el rendimiento de sistemas más antiguos y especializados que habían sido entrenados específicamente para esta tarea durante años. Sin embargo, el artículo también descubrió que este truco no funciona para todos los robots. Un modelo, Llama 3.2, en realidad empeoró cuando se le mostraron los ejemplos, lo que sugiere que no todos los robots saben cómo usar una "hoja de referencia" de manera efectiva. El estudio sugiere que, si bien mostrar ejemplos ayuda a los robots a mantenerse fieles al significado original, a veces hace que el texto sea ligeramente menos "fácil de leer" que si simplemente hubieran adivinado por su cuenta, creando un delicado equilibrio entre mantener la precisión de la historia y hacerla simple. En última instancia, los autores demuestran que, para muchos robots potentes, observar cómo otros resolvieron problemas similares es un mejor maestro que simplemente leer una lista de reglas.

Resumen Técnico: Prompting Guiado por Ejemplos para la Simplificación de Textos a Nivel de Documento

Planteamiento del Problema

La simplificación de textos a nivel de documento presenta un desafío significativo para los Modelos de Lenguaje de Gran Escala (LLM). A diferencia de la reescritura a nivel de oración, que se centra en transformaciones locales, la simplificación a nivel de documento requiere cambios coordinados a través de múltiples oraciones para mantener la coherencia del discurso, la fidelidad semántica y una legibilidad constante en todo el texto. Aunque los LLM basados en prompts ofrecen una alternativa flexible y sin necesidad de entrenamiento frente a los modelos supervisados, a menudo tienen dificultades con las transformaciones complejas a nivel de documento. Depender únicamente de instrucciones textuales conduce frecuentemente a una calidad de simplificación inconsistente, ya que las instrucciones por sí solas proporcionan una guía insuficiente para los matices de los cambios estructurales y estilísticos requeridos.

Los enfoques existentes, como la Generación Aumentada por Recuperación (RAG), suelen utilizar documentos recuperados para proporcionar conocimiento factual o contexto externo. Sin embargo, la simplificación de documentos requiere orientación sobre cómo transformar el texto en lugar de información factual adicional. Existe una brecha en el uso de la recuperación para proporcionar patrones de transformación específicamente para la simplificación a nivel de documento sin necesidad de un ajuste fino (fine-tuning) específico para la tarea.

Metodología: Prompting Guiado por Ejemplos (EGP)

Los autores proponen el Prompting Guiado por Ejemplos (EGP), un marco de trabajo en tiempo de inferencia diseñado para aumentar los prompts estándar con ejemplos de simplificación de documentos recuperados.

Mecanismo Central

Recuperación: Dado un documento de entrada complejo, el sistema recupera los $k$ documentos superiores (donde $k=3$ ) más similares semánticamente de un corpus de simplificación paralelo. Esta recuperación utiliza embeddings densos y similitud de coseno.
Aumento: Los ejemplos recuperados se incorporan al prompt junto con el documento objetivo y la instrucción textual.
Generación: El LLM procesa este prompt enriquecido, aprovechando los ejemplos recuperados para identificar y aplicar patrones de simplificación relevantes observados en contextos similares.
Restricción: El documento de entrada evaluado se excluye explícitamente del conjunto de recuperación para evitar la fuga de datos.

Configuración Experimental

Dataset: El corpus OneStopEnglish (Vajjala y Luˇci´c, 2018), específicamente el escenario de simplificación de avanzado a elemental.
Modelos: Se evaluaron cinco LLM de última generación: GPT-4o-mini, Claude Haiku 4.5, Gemini 2.0 Flash, Sonar y Llama 3.2.
Baselines (Líneas de base):
- Solo Prompt: Se seleccionó una estrategia de prompting basada en restricciones tras experimentos preliminares que demostraron que alcanzaba los puntajes SARI más altos.
- Supervisado/Planeación: Se realizaron comparaciones contra T5 (Raffel et al., 2020) y PlanSimp (Cripwell et al., 2023), un sistema basado en planeación.
Métricas de Evaluación:
- Calidad de la Simplificación: SARI (Xu et al., 2016).
- Preservación Semántica: BERTScore (Zhang et al., 2019) y LENS (Maddela et al., 2023).
- Legibilidad: Flesch Reading Ease (FRE) y Flesch-Kincaid Grade Level (FKGL).

Resultados Clave

Los experimentos demuestran que el EGP mejora consistentemente la generación de solo prompt en la mayoría de los modelos y logra un rendimiento competitivo o superior en comparación con sistemas especializados supervisados.

Ganancias de Rendimiento: La incorporación de ejemplos recuperados mejoró la calidad de la simplificación (SARI) en cuatro de los cinco LLM evaluados.
- Claude Haiku 4.5 mostró la mejora más significativa, aumentando el SARI de 40.78 a 44.84, mientras también mejoraba la preservación semántica (BERTScore y LENS).
- Gemini 2.0 Flash y Sonar también demostraron ganancias consistentes.
- GPT-4o-mini mostró mejoras menores pero consistentes.
- Llama 3.2 fue un caso atípico, experimentando una degradación notable del rendimiento en todas las métricas, lo que sugiere que no todos los LLM pueden integrar eficazmente los ejemplos recuperados.
Comparación con Baselines: Los modelos EGP generalmente superaron o igualaron a los sistemas especializados T5 y PlanSimp.
- Claude Haiku 4.5 + EGP alcanzó el puntaje SARI más alto (44.84), superando a PlanSimp (42.02) y T5 (30.0).
- En términos de preservación semántica, GPT-4o-mini y Claude Haiku 4.5 superaron sustancialmente tanto a T5 como a PlanSimp en LENS, mejorando más de 20 puntos respecto al baseline basado en planeación.
Compromisos (Trade-offs): Se observó un compromiso distintivo entre la legibilidad y la preservación semántica. Mientras que el EGP mejoró consistentemente las métricas orientadas a la semántica (BERTScore, LENS), no siempre produjo las mayores ganancias en las métricas de legibilidad (FKGL, FRE). Los ejemplos recuperados parecen fomentar simplificaciones "conservadoras" que permanecen más cerca de la estructura y el significado del documento original, priorizando la fidelidad sobre una reducción agresiva de la legibilidad.

Significancia y Contribuciones

El artículo realiza tres contribuciones principales:

Propuesta de EGP: La introducción del Prompting Guiado por Ejemplos como un nuevo enfoque en tiempo de inferencia para la simplificación de textos a nivel de documento. A diferencia del RAG tradicional que proporciona fundamentación factual, el EGP utiliza la recuperación para proporcionar guía de transformación, permitiendo a los LLM explotar patrones de simplificación sin necesidad de un ajuste fino específico para la tarea.
Validación Empírica: La demostración de que el EGP mejora consistentemente la generación de solo prompt en múltiples LLM de última generación. Los resultados muestran que este enfoque basado en recuperación puede lograr un rendimiento competitivo o superior a los sistemas supervisados (T5) y basados en planeación (PlanSimp) representativos, a pesar de no requerir datos de entrenamiento específicos para la tarea de simplificación.
Análisis de la Dependencia del Modelo: La identificación de que la eficacia del prompting guiado por ejemplos depende altamente del LLM subyacente. El estudio destaca que la integración exitosa de los ejemplos recuperados no está garantizada; depende de la capacidad específica del modelo para utilizar la información contextual durante la generación. Este hallazgo sugiere que la calidad de la recuperación por sí sola es insuficiente y señala las características arquitectónicas o de entrenamiento como factores críticos para la investigación futura.

Los autores concluyen que los ejemplos recuperados sirven como un mecanismo efectivo para controlar la generación de texto a través de la guía de transformación. Esta perspectiva se extiende más allá de la simplificación de textos, siendo potencialmente aplicable a otras tareas de generación controlada donde los ejemplos ilustran transformaciones deseables en lugar de proporcionar información factual.

Limitaciones

Los autores reconocen varias limitaciones:

Alcance del Dataset: Los experimentos se limitaron al corpus OneStopEnglish (noticias educativas en inglés); la generalizabilidad a otros dominios, idiomas o estilos permanece sin verificar.
Métricas de Evaluación: Dependencia de métricas automáticas (SARI, BERTScore, etc.) que pueden no capturar plenamente los juicios humanos de coherencia, consistencia factual o adecuación a la audiencia.
Configuración de Recuperación: El estudio utilizó una única configuración de recuperación y un corpus. Las variaciones en las estrategias de recuperación, los tamaños del corpus o las medidas de similitud podrían influir en los resultados.
Variabilidad del Modelo: La caída significativa de rendimiento observada en Llama 3.2 indica que el método no es universalmente efectivo en todas las arquitecturas de LLM, lo que requiere una mayor investigación sobre por qué algunos modelos integran mejor los ejemplos que otros.