💬 NLP

Towards Empowering Consumers through Sentence-level Readability Scoring in German ESG Reports

Este trabajo evalúa métodos de puntuación de legibilidad en informes ESG alemanes mediante anotaciones crowdsourced, demostrando que un modelo transformer finetuneado pequeño predice la legibilidad percibida por humanos con mayor precisión que las técnicas de prompting con LLM.

Autores originales: Benjamin Josef Schüßler, Jakob Prange

Publicado 2026-04-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Benjamin Josef Schüßler, Jakob Prange

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que las empresas tienen un "diario secreto" donde escriben todo lo que hacen para proteger el planeta y tratar bien a las personas. A esto le llaman informes ESG (Ambiental, Social y Gobernanza).

El problema es que estos diarios están escritos en un lenguaje tan complicado, lleno de palabras raras y frases largas, que parece que fueran para espías o matemáticos, no para la gente normal. Si tú quieres saber si tu banco es realmente "verde" o si tu compañía de luz es honesta, necesitas entender esos textos. Pero, ¿cómo sabes si un texto es fácil de leer o si te va a dar un dolor de cabeza?

Aquí es donde entra este estudio de los autores Benjamin y Jakob. Vamos a explicarlo con una analogía sencilla: La Prueba del "Abuelo Sabio".

1. El Problema: ¿Quién puede leer esto?

Imagina que tienes un informe de 100 páginas. Tú, como consumidor, no tienes tiempo de leerlo todo. Solo tienes un minuto para echar un vistazo rápido.

El objetivo: Crear un sistema que pueda decirte: "Oye, esta frase es clara como el agua, léela. Pero esta otra es un galimatías, déjala pasar".
La misión: Los autores querían saber: ¿Son realmente fáciles de leer estos informes alemanes? Y, ¿podemos usar una computadora para medirlo mejor que nosotros mismos?

2. La Experimentación: El "Panel de Ciudadanos"

Para saber qué es "fácil de leer", no le preguntaron a expertos en finanzas (ellos ya saben lo que buscan). En su lugar, contrataron a gente normal (como tú y yo) a través de internet.

Les mostraron frases sueltas de estos informes.
Les preguntaron: "¿Cuánto entendiste esto?" (Del 1: "No entendí nada" al 4: "¡Fue clarísimo!").
El hallazgo curioso: La mayoría de la gente pensó que las frases eran bastante fáciles de entender. ¡Pero hubo mucha diferencia de opinión! A una persona le parecía claro, y a otra le parecía un enredo. Esto nos dice que la "facilidad de leer" es muy subjetiva, como el gusto por la pizza.

3. Las Herramientas: Tres tipos de "Detectives"

Los autores probaron tres tipos de "detectives" (modelos de computadora) para ver cuál podía predecir mejor lo que pensaba la gente:

Detective A (La Regla de Oro Vieja): Usa fórmulas matemáticas antiguas. Solo cuenta: "¿Cuántas palabras hay? ¿Cuántas sílabas?". Es como un reloj de arena: simple y rápido, pero a veces se equivoca porque no entiende el contexto.
Detective B (El Analista de Gramática): Este es un modelo más inteligente que mira la estructura de la frase. Busca cosas como: "¿Hay voz pasiva? ¿Hay muchas oraciones subordinadas?". Es como un mecánico que desarma el motor de la frase para ver si está bien ensamblado.
Detective C (El Genio de la IA - LLM): Son los modelos de Inteligencia Artificial modernos (como los que usas para chatear). Son muy potentes y leen todo el texto como un humano.

4. Los Resultados: ¿Quién ganó la carrera?

Aquí viene la parte divertida, porque los resultados no fueron exactamente lo que esperaban:

El Genio de la IA (Detective C): Fue el mejor para distinguir entre una frase fácil y una difícil. Es como un crítico de cine que sabe exactamente qué película es aburrida y cuál es emocionante. Pero, a la hora de dar una puntuación exacta (decir si es un 3.5 o un 3.8), se confundía un poco. Además, es lento y consume mucha energía (como un coche deportivo que gasta mucha gasolina).
El Analista de Gramática (Detective B): ¡Este fue el ganador! Aunque es más pequeño y simple, predijo lo que pensaba la gente con el menor error. Es como un buen traductor que, aunque no sabe todo el mundo, conoce muy bien las reglas del idioma y acierta casi siempre.
La Regla de Oro (Detective A): Funcionó bien, pero no tan bien como el Analista de Gramática.

5. La Conclusión: ¿Por qué nos importa?

Imagina que quieres elegir un banco "verde". En lugar de leer 50 páginas de texto aburrido, un sistema inteligente podría:

Leer los informes de 10 bancos.
Filtrar las frases que son confusas o parecen "mentiras" (greenwashing).
Mostrarte solo las frases claras y directas: "El Banco X invierte en energía eólica" vs. "El Banco Y tiene planes futuros de sostenibilidad (pero no dice cuándo)".

En resumen:
Este estudio nos dice que no necesitamos una Inteligencia Artificial gigante y costosa para medir la claridad de un texto. Un modelo pequeño y bien entrenado, que entiende la gramática, es suficiente para empoderarnos a los consumidores. Nos ayuda a que la información no sea un muro de ladrillos, sino una puerta abierta para tomar decisiones más sostenibles.

La metáfora final:
Antes, leer un informe ESG era como intentar entender un manual de instrucciones de un avión en un idioma que no dominas. Ahora, gracias a estos modelos, es como tener un copiloto que te dice: "No te preocupes, esa parte es clara, pero olvídate de la otra, es solo ruido". ¡Eso es empoderamiento!

Título: Hacia el empoderamiento de los consumidores mediante la puntuación de legibilidad a nivel de oración en informes ESG en alemán

1. Problema y Motivación

Con la creciente urgencia de la sostenibilidad, las empresas publican informes de Medio Ambiente, Social y Gobernanza (ESG). Sin embargo, existe una brecha crítica: estos informes a menudo están redactados para expertos financieros y no son accesibles para el público general (consumidores).

El desafío: Los consumidores necesitan tomar decisiones informadas basadas en estos informes, pero la complejidad del lenguaje puede impedirles entender la información clave.
La limitación actual: Las métricas de legibilidad tradicionales (como el índice Flesch) suelen operar a nivel de documento y están calibradas para contextos educativos en inglés, no para textos técnicos alemanes de dominio específico (ESG).
Objetivo: Evaluar y modelar la legibilidad a nivel de oración en informes ESG alemanes, alineándose con la percepción de lectores no expertos (legos) para facilitar sistemas de recuperación de información (RAG) y recomendadores que prioricen la claridad.

2. Metodología

A. Datos y Anotación

Fuente de datos: Se utilizó y extendió el conjunto de datos de la tarea compartida SustainEval GermEval, que contiene extractos de informes basados en el Código de Sostenibilidad Alemán.
Estructura: Cada punto de datos consiste en cuatro oraciones consecutivas (tres de contexto y una oración objetivo).
Anotación Crowdsourcing: Se reclutaron hablantes nativos alemanes (no expertos en ESG) a través de Prolific.
- Tarea: Calificar la comprensión de la oración objetivo en una escala Likert forzada de 1 a 4 (1: nada claro, 4: muy claro).
- Resultados: Se observó una distribución sesgada hacia textos fáciles (mayoría de puntuaciones 4), pero con variación subjetiva significativa. Se utilizó la votación mayoritaria para agregar las anotaciones y mitigar el ruido.

B. Modelos Evaluados
El estudio comparó tres enfoques principales:

Modelos "Whitebox" (Interpretables):
- Línea base 1: Regresión lineal simple basada solo en la longitud de la oración (número de palabras).
- Línea base 2: Un modelo XGBoost entrenado sobre fórmulas de legibilidad tradicionales adaptadas al alemán (Flesch-Amstad, HKPS, LIX, etc.).
- Propuesta (Nuestro modelo): Una red neuronal feed-forward entrenada sobre características sintácticas extraídas de la oración:
  - N-gramas de etiquetas POS (bigramas y trigramas).
  - Profundidad del árbol de dependencia.
  - Distancia media de dependencia.
  - Etiqueta POS de la raíz de la oración.
  - Presencia de voz pasiva.
  - Presencia de subordinación.
Modelos "Blackbox" (Cajas negras):
- Codificador Fine-tuned: Un modelo Transformer (XLM-RoBERTa) ajustado específicamente para la tarea de regresión de legibilidad.
- LLMs Generativos: Modelos de lenguaje grandes instruidos (Qwen 3, Llama 3, Gemma 3) mediante prompting (one-shot) para clasificar la legibilidad en 4 clases.

C. Métricas de Evaluación

Error: Error Cuadrático Medio (MSE) y Error Absoluto Medio (MAE) para medir la precisión numérica frente a las anotaciones humanas.
Correlación: Coeficiente de correlación de rango de Kendall ( $\tau$ ) para evaluar la capacidad del modelo de distinguir entre oraciones fáciles y difíciles, independientemente de un sesgo de escala.

3. Contribuciones Clave

Conjunto de Datos Extendido: Creación de un nuevo conjunto de datos con anotaciones de legibilidad crowdsourced para informes ESG alemanes a nivel de oración.
Análisis de Características Sintácticas: Demostración de que características sintácticas específicas (especialmente los trigramas de POS y la voz pasiva) son predictores cruciales de la legibilidad percibida por humanos en este dominio.
Comparativa de Modelos: Una evaluación exhaustiva que contrasta modelos interpretables de bajo costo computacional frente a LLMs masivos y modelos Transformer fine-tuned.
Insights sobre el Sesgo: Identificación de que los LLMs, aunque buenos para ordenar la dificultad, sufren de un sesgo de puntuación sistemático si no se ajustan específicamente a la escala de anotación humana.

4. Resultados Principales

Percepción Humana: Contrario a la literatura que sugiere que los informes ESG son muy difíciles, los hablantes nativos los perciben generalmente como fáciles de leer (puntuación promedio ~3.7/4.0), aunque existe variabilidad subjetiva.
Rendimiento de Modelos:
- Línea base de longitud: Falló en distinguir la legibilidad (correlación negativa).
- Fórmulas tradicionales: Mejoraron la longitud, pero tuvieron un rendimiento moderado.
- Modelo Sintáctico (Whitebox): Logró un error bajo y una correlación razonable. Es rápido y interpretable.
- XLM-RoBERTa (Fine-tuned): Obtuvo el mejor rendimiento global, con el MSE más bajo (0.0295) y una buena correlación. Superó a los modelos basados en reglas y al modelo sintáctico puro.
- LLMs (Generativos):
  - Qwen 3: Fue el mejor LLM, logrando la correlación de rango más alta (Kendall $\tau$ = 0.2822), lo que indica que es excelente para distinguir qué oraciones son más difíciles que otras. Sin embargo, tuvo el peor MSE (0.1119) debido a un sesgo en la escala de puntuación (tendía a dar puntuaciones más bajas que las humanas).
  - Llama 3 y Gemma 3: Rendimiento inferior en todas las métricas.
Combinación de Modelos: Promediar las predicciones de múltiples modelos (ej. Sintáctico + XLM + Qwen) mejoró ligeramente el rendimiento, pero a costa de una mayor latencia de inferencia.

5. Significado e Implicaciones

Empoderamiento del Consumidor: La legibilidad es un pilar fundamental para que los consumidores puedan tomar decisiones sostenibles informadas. Los sistemas de recomendación o RAG pueden usar estos modelos para filtrar oraciones claras o simplificar las complejas.
Interpretabilidad vs. Potencia: El estudio demuestra que, aunque los LLMs tienen un gran potencial para entender la complejidad semántica, un modelo Transformer pequeño y específico (XLM-RoBERTa fine-tuned) ofrece el mejor equilibrio entre precisión, velocidad y costo para esta tarea específica.
Limitaciones y Futuro: Se identificó un problema de asimetría de información (los humanos veían el contexto, los modelos no siempre). Además, el desequilibrio de clases (muchas oraciones fáciles) y la subjetividad de las anotaciones son retos pendientes. El trabajo sugiere futuras investigaciones hacia modelos de legibilidad personalizados según el perfil del usuario.

En resumen, el paper establece que la legibilidad de los informes ESG alemanes es subjetiva pero modelable, y que la combinación de un modelo Transformer ajustado con técnicas de agregación ofrece la solución más robusta para automatizar la evaluación de claridad en este dominio.