Resumen Técnico: Investigación sobre Métodos de Calificación de Legibilidad para Textos en Inglés Basados en Inteligencia Artificial

1. Planteamiento del Problema

El artículo aborda las limitaciones de los sistemas actuales de evaluación automatizada de la legibilidad, los cuales tienen dificultades para equilibrar la riqueza semántica, la interpretabilidad y la eficiencia computacional. Los métodos tradicionales basados en fórmulas (p. ej., Flesch-Kincaid, Gunning Fog) dependen de características lingüísticas superficiales como la longitud de las oraciones y el conteo de sílabas, fallando al capturar el significado semántico, la continuidad del discurso y las estructuras de oraciones complejas. Por el contrario, aunque los modelos de aprendizaje profundo y basados en transformadores (p. ej., BERT, RoBERTa) sobresalen en la comprensión contextual, a menudo requieren recursos computacionales significativos, carecen de interpretabilidad y pueden ignorar claves lingüísticas explícitas cruciales para la estimación de la legibilidad. Los enfoques híbridos existentes suelen fallar al integrar eficazmente los embeddings semánticos profundos con características lingüísticas manuales e interpretables dentro de un marco de regresión unificado.

2. Metodología

El estudio propone un Marco Híbrido RoBERTa–XGBoost diseñado para predecir puntuaciones de legibilidad continuas para textos en inglés. La metodología sigue un flujo de trabajo estructurado:

• Conjunto de Datos: La investigación utiliza el Corpus CLEAR (CommonLit Ease of Readability), un conjunto de datos de referencia que contiene 4,724 muestras de texto en inglés anotadas que van desde el nivel de Grado 3 hasta el Grado 12. Los datos se dividieron en un conjunto de entrenamiento (3,779 muestras) y de prueba (945 muestras) de 80/20.
• Preprocesamiento: El texto bruto se sometió a normalización (conversión a minúsculas), eliminación de caracteres especiales no lingüísticos, segmentación de oraciones y tokenización utilizando el tokenizador de RoBERTa.
• Extracción de Características (Doble Vía):
  1. Características Semánticas: Se utilizó un modelo RoBERTa-Base para generar embeddings semánticos de 768 dimensiones. El modelo se configuró con una tasa de aprendizaje de 1.00E-05, una longitud máxima de secuencia de 512, un tamaño de lote de 16, y se entrenó durante 10 épocas; sin embargo, el artículo establece explícitamente que el modelo se empleó en un estado congelado sin ajuste fino adicional para extraer las representaciones ocultas contextuales. Se extrajo la representación del token [CLS] para capturar el significado contextual global de cada pasaje.
  2. Características Lingüísticas: Se diseñaron 39 características manuales para capturar propiedades estructurales, incluyendo la longitud promedio de palabra, longitud de oración, densidad léxica, ratios de puntuación, ratios de conjunciones y complejidad sintáctica.
• Fusión de Características: Ambos conjuntos de características se normalizaron utilizando Standard Scaling para asegurar una distribución uniforme. Los vectores semánticos de 768 dimensiones y los vectores lingüísticos de 39 dimensiones se concatenaron para formar un vector de características unificado de 807 dimensiones.
• Entrenamiento del Modelo: Las características fusionadas se introdujeron en un Regresor XGBoost. El modelo se optimizó mediante Búsqueda de Rejilla con Validación Cruzada (Grid Search Cross-Validation) (5 pliegues) para ajustar hiperparámetros como la tasa de aprendizaje, la profundidad del árbol y el número de estimadores. La función objetivo minimizó el error cuadrático aplicando regularización (L1 y L2) para prevenir el sobreajuste.

3. Contribuciones Clave

El artículo describe cuatro contribuciones primarias:

1. Desarrollo del Marco: La creación de un marco de regresión inteligente e híbrido basado en IA para predecir puntuaciones de legibilidad continuas en textos en inglés utilizando el Corpus CLEAR.
2. Articulación del Flujo de Trabajo: Una documentación exhaustiva del flujo de trabajo de extremo a extremo, incluyendo la recolección de datos, el preprocesamiento (manejo de valores faltantes, limpieza de texto, tokenización) y la extracción específica de tanto los embeddings semánticos de RoBERTa como de las características lingüísticas diseñadas.
3. Estrategia de Fusión de Características: La implementación de una técnica de fusión específica que combina las representaciones semánticas de RoBERTa con características lingüísticas diseñadas mediante escalado y concatenación, seguido de una regresión XGBoost con Grid Search Cross-Validation para el ajuste de hiperparámetros.
4. Evaluación del Desempeño: Una evaluación rigurosa de la solución propuesta frente a modelos base (Regresión Lineal, Regresión de Vectores de Soporte, Bosque Aleatorio) y estudios de ablación utilizando métricas de regresión estándar (RMSE, MAE, R²).

4. Resultados Experimentales

El modelo propuesto demostró un desempeño superior en comparación con todos los modelos base y variantes de ablación:

• Métricas Primarias: El modelo híbrido completo logró un RMSE de 0.0980, un MAE de 0.0794 y un puntaje R² de 0.9908.
• Desempeño Comparativo:
  • vs. Modelos Base: El modelo propuesto superó a la Regresión Lineal (R²: 0.944), la Regresión de Vectores de Soporte (R²: 0.762) y el Bosque Aleatorio (R²: 0.965).
  • vs. Estudios de Ablación: El modelo completo superó significativamente a los modelos que utilizaban solo características semánticas (RoBERTa + Precomputado: R² 0.882), solo características lingüísticas (R² 0.685), o Solo RoBERTa con Ajuste Fino (R² 0.72 de la tabla 3) según el estudio de ablación.
• Análisis de Errores: El análisis de residuos indicó que los errores se distribuyeron normalmente alrededor de cero con un sesgo mínimo, confirmando la fiabilidad del modelo.
• Importancia de las Características: El análisis reveló que las características sintácticas, específicamente el Ratio de Conjunciones (0.1802) y el Ratio de Preposiciones (0.0946), estuvieron entre los predictores más influyentes, validando la importancia de integrar claves estructurales con embeddings semánticos.

5. Significación y Reivindicaciones

El artículo sostiene que la integración de embeddings semánticos profundos con características lingüísticas interpretables mejora significativamente la precisión de la predicción y la capacidad de generalización. El estudio afirma que este enfoque híbrido logra cerrar la brecha entre la comprensión contextual de los modelos de transformadores y la interpretabilidad estructural del análisis lingüístico tradicional.

El autor posiciona el marco como una solución escalable para:

• Adaptación de Contenido Educativo: Adaptar los materiales de aprendizaje a niveles específicos de los estudiantes.
• Evaluación de Manuscritos: Asistir en la evaluación de la complejidad del texto para la publicación.
• Aplicaciones de Procesamiento de Lenguaje Natural: Proporcionar un método robusto para la nivelación automática de texto y la recomendación de contenido.

El artículo concluye que el método propuesto ofrece una base científicamente fundamentada para el análisis lingüístico automatizado, logrando una alta precisión (capturando >99% de la varianza) mientras mantiene la fiabilidad computacional mediante el uso de aprendizaje de conjunto optimizado. Se sugiere como trabajo futuro explorar la robustez translingüística, la integración de módulos de IA Explicable (XAI) como SHAP, y el uso de modelos ligeros (p. ej., DistilRoBERTa) para la eficiencia del flujo de trabajo.