OasisSimp: An Open-source Asian-English Sentence Simplification Dataset

1. El Problema

La simplificación de oraciones tiene como objetivo hacer que el texto complejo sea más accesible reduciendo la complejidad lingüística (léxica, sintáctica o conceptual) mientras se preserva el significado original. Aunque ha habido avances significativos en idiomas de alto recurso (como el inglés y el español), existe una brecha crítica en idiomas de recursos medios y bajos, especialmente en Asia.

• Falta de Datos: No existen conjuntos de datos paralelos de alta calidad (oraciones complejas-simplificadas) para idiomas como tailandés, pastún y tamil. Para el singalés, los datos existentes son limitados.
• Desequilibrio de Recursos: La mayoría de los modelos y benchmarks actuales están sesgados hacia el inglés, lo que impide el desarrollo de sistemas inclusivos para hablantes de lenguas minoritarias, aprendices de idiomas y personas con discapacidades cognitivas o de lectura.
• Limitaciones de los Métodos Actuales: Las técnicas de aprendizaje supervisado requieren datos paralelos que no existen para estos idiomas, y los métodos de traducción automática para generar datos sintéticos introducen ruido y no capturan los matices específicos de la simplificación.

2. Metodología

El equipo propuso un enfoque centrado en la creación de datos y la evaluación de modelos de lenguaje grandes (LLM) multilingües.

A. Creación del Dataset (OasisSimp)

Se desarrolló un nuevo conjunto de datos multilingüe que cubre cinco idiomas: Inglés, Singalés, Tamil, Tailandés y Pastún.

• Selección de Idiomas: Se eligieron por su diversidad tipológica (familias lingüísticas, sistemas de escritura, tonalidad) y por la ausencia de recursos de simplificación previos en la mayoría de ellos.
• Fuentes de Datos:
  • Inglés: Periódicos canadienses (The Globe and Mail).
  • Singalés y Tamil: Documentos gubernamentales oficiales (corpus SiTa).
  • Tailandés: Sitios de noticias tailandeses (ThaiSum).
  • Pastún: Wikipedia.
• Proceso de Anotación:
  • Se reclutaron hablantes nativos con al menos un título universitario.
  • Se siguieron directrices detalladas para simplificar oraciones manteniendo el significado, la fluidez y la corrección gramatical.
  • Operaciones clave: Reemplazo de términos técnicos, división de oraciones largas, eliminación de detalles redundantes y reestructuración.
  • Cada oración compleja fue simplificada por múltiples anotadores (3 a 5) para garantizar calidad.
• Estadísticas: El dataset final contiene entre 520 y 2,500 oraciones complejas por idioma, con múltiples versiones simplificadas por cada una.

B. Evaluación de Modelos (LLMs)

En lugar de proponer un nuevo modelo de simplificación, los autores evaluaron el rendimiento de 8 modelos de lenguaje grandes de código abierto (Open-weight) en el nuevo dataset:

• Modelos evaluados: Aya, Cmd-R, DeepSeek, EuroLLM, Gemma, LLaMA, Mistral y Qwen.
• Configuraciones de prueba: Se realizaron experimentos en configuraciones Zero-shot (sin ejemplos) y Few-shot (1-shot y 5-shot).
• Métricas: Se utilizaron SARI (para medir la calidad de las palabras añadidas, mantenidas y eliminadas) y BERTScore (para la similitud semántica).

3. Contribuciones Clave

1. OasisSimp Dataset: Es el primer dataset de simplificación de oraciones de nivel de oración de código abierto que cubre simultáneamente inglés, singalés, tamil, tailandés y pastún. Llena vacíos críticos, especialmente para tailandés, pastún y tamil.
2. Benchmark Multilingüe: Proporciona una evaluación estandarizada de la capacidad de los LLMs modernos para generalizar en tareas de simplificación en idiomas de recursos bajos.
3. Análisis de Desempeño: Ofrece un análisis exhaustivo de cómo los diferentes modelos manejan la preservación del significado, la eliminación de redundancia y la adición de información en contextos multilingües.

4. Resultados Principales

• Desempeño Zero-shot: Se observaron disparidades significativas. Los modelos funcionaron bien en inglés (idioma de alto recurso), pero mostraron variabilidad extrema y bajo rendimiento en idiomas de recursos bajos como pastún y tailandés.
  • Gemma destacó como el modelo más robusto, obteniendo los mejores resultados en singalés, tamil y pastún, demostrando una mejor capacidad de transferencia de conocimiento entre idiomas.
  • Modelos como DeepSeek y LLaMA tuvieron dificultades (incluso puntuaciones negativas en algunas métricas) en idiomas de recursos bajos sin ejemplos de entrenamiento.
• Impacto del Few-shot: La inclusión de ejemplos (1-shot y 5-shot) mejoró consistentemente el rendimiento de todos los modelos en todos los idiomas.
  • La mejora fue más notable en idiomas de recursos bajos, donde los ejemplos ayudaron a los modelos a entender la estructura y el estilo de simplificación requerido.
  • El componente KEEP (mantenimiento de palabras clave) mejoró notablemente con el few-shot, mientras que el componente ADD (agregar nuevas palabras simples) siguió siendo el más difícil y con puntuaciones más bajas, especialmente en idiomas de recursos bajos.
• Limitaciones de los Modelos: Los LLMs son buenos eliminando información innecesaria (DEL) y manteniendo el contenido clave, pero luchan por generar nuevo texto simple y contextualmente significativo (ADD) en idiomas con morfología compleja o pocos datos de entrenamiento.

5. Significado e Impacto

• Avance en NLP Inclusivo: OasisSimp representa un paso fundamental para expandir la investigación en simplificación de texto más allá de los idiomas de alto recurso, apoyando el desarrollo de sistemas más equitativos.
• Herramienta para Investigadores: Proporciona un recurso valioso y un benchmark desafiante para evaluar y mejorar futuros modelos de simplificación en contextos multilingües.
• Impacto Social: Al facilitar el acceso a información escrita en idiomas como el pastún, tamil y singalés, este trabajo contribuye a mejorar la alfabetización, la educación y el acceso al conocimiento para poblaciones diversas a nivel global.
• Llamado a la Acción: Los resultados subrayan la necesidad de desarrollar estrategias específicas para idiomas de recursos bajos y de recopilar más datos de alta calidad para entrenar modelos que no dependan exclusivamente de la transferencia de idiomas de alto recurso.

En resumen, el artículo no solo libera un recurso de datos crucial, sino que también expone las limitaciones actuales de los LLMs en la simplificación de idiomas de recursos bajos, estableciendo una línea base para futuras investigaciones en este campo.