Towards Empowering Consumers through Sentence-level Readability Scoring in German ESG Reports

1. Problema e Motivação

Com o aumento da urgência em torno da sustentabilidade e a proliferação de relatórios de ESG (Ambiental, Social e Governança), os consumidores precisam acessar essas informações para tomar decisões de compra conscientes. No entanto, muitos desses relatórios são escritos para especialistas (analistas financeiros, auditores) e não para o público leigo.

• Desafio Principal: Garantir que os relatórios sejam acessíveis e compreensíveis para consumidores comuns, evitando o "greenwashing" e permitindo uma transição verde efetiva.
• Foco do Trabalho: Avaliar a legibilidade em nível de frase (sentence-level) de relatórios ESG em alemão. Diferente de métricas tradicionais de nível de documento (como o teste Flesch), o objetivo é identificar e simplificar frases específicas que sejam difíceis de entender, mas que contenham informações cruciais.

2. Metodologia

A. Dados e Anotação

• Dataset: Os autores utilizaram e expandiram o dataset da tarefa compartilhada SustainEval GermEval, contendo trechos de relatórios do Código de Sustentabilidade Alemão (Deutscher Nachhaltigkeitskodex).
• Anotação Crowdsourced: Foram adicionadas anotações de legibilidade via crowdsourcing (Prolific e SoSciSurvey) com falantes nativos alemães (leigos no domínio ESG).
• Escala: As frases foram classificadas em uma escala Likert forçada de 1 a 4 (1: nada claro a 4: muito claro).
• Estatísticas: O dataset apresenta um viés para frases consideradas fáceis (maioria das anotações em 4), refletindo a percepção geral de que o alemão nativo é fácil de entender, embora haja subjetividade significativa nas anotações.

B. Abordagens de Modelagem

O estudo compara três categorias de modelos para prever a legibilidade:

1. Modelos "Whitebox" (Interpretáveis):

   • Modelo Baseado em Sintaxe: Uma rede neural feed-forward treinada com características sintáticas extraídas (usando spaCy e textdescriptives).
     • Features: N-gramas de tags POS (bigramas e trigramas), profundidade da árvore de dependência, distância média de dependência, POS da raiz, voz passiva e existência de orações subordinadas.
   • Baselines Tradicionais: Regressão linear baseada apenas no número de palavras e um modelo XGBoost agregando fórmulas de legibilidade clássicas (Flesch adaptado, HKPS, LIX, etc.).

2. Modelos "Blackbox" (Caixa Preta):

   • Transformers Fine-tuned: Um classificador baseado em XLM-RoBERTa (base e large), ajustado especificamente para a tarefa de regressão de legibilidade.
   • LLMs Generativos: Uso de modelos instruídos (Qwen 3, Gemma 3, Llama 3) via prompting (one-shot) para classificar a legibilidade, sem fine-tuning específico no dataset.

C. Métricas de Avaliação

• Erro: MSE (Erro Quadrático Médio) e MAE (Erro Absoluto Médio).
• Correlação de Rank: Coeficiente Tau de Kendall ($\tau$) para medir a capacidade do modelo de distinguir corretamente frases fáceis de difíceis, independentemente do viés de escala absoluta.

3. Principais Contribuições

1. Dataset Expandido: Criação de um dataset com anotações de legibilidade crowdsourced para relatórios ESG em alemão em nível de frase.
2. Análise Comparativa: Avaliação rigorosa de modelos sintáticos simples versus modelos de linguagem modernos (LLMs e Transformers) em um domínio específico.
3. Estudo de Ablação: Identificação de quais características sintáticas (como trigramas de POS e passivação) são mais críticas para a previsão de legibilidade.
4. Insights sobre Empoderamento do Consumidor: Discussão sobre como a legibilidade é um pilar fundamental para a transparência e a tomada de decisão sustentável.

4. Resultados Chave

• Desempenho Geral:

  • O modelo XLM-RoBERTa-base fine-tuned obteve o menor erro (MSE) entre todos os modelos individuais, superando tanto as fórmulas tradicionais quanto o modelo sintático.
  • O modelo baseado em LLM (Qwen 3) obteve a maior correlação de rank (Kendall $\tau$), indicando que é excelente em distinguir frases fáceis de difíceis, mas falha em prever a pontuação exata (tem um viés sistemático de pontuação mais baixa).
  • Modelos puramente sintáticos (Whitebox) tiveram desempenho comparável às fórmulas tradicionais, mas com menor erro que a simples contagem de palavras.

• Análise de Erros e Limitações:

  • Viés de Classe: O dataset é altamente desbalanceado (muitas frases fáceis), o que dificulta a avaliação de modelos em frases complexas.
  • Assimetria de Informação: Humanos tinham contexto (frases anteriores) para julgar a frase-alvo, enquanto os modelos foram testados apenas com a frase isolada, o que prejudicou a avaliação de frases que dependem de contexto.
  • Subjetividade: Houve baixa concordância entre anotadores em alguns casos, sugerindo que a legibilidade é altamente subjetiva e dependente do leitor individual.

• Combinação de Modelos:

  • A média simples das previsões de múltiplos modelos (ex: Sintaxe + XLM-RoBERTa) melhorou ligeiramente o desempenho, mas a um custo computacional maior.

5. Significado e Conclusão

O trabalho conclui que, embora os LLMs tenham potencial para identificar a complexidade semântica e distinguir bem frases claras de obscuras (alta correlação de rank), os modelos pequenos e fine-tuned (como XLM-RoBERTa) são superiores para prever a pontuação de legibilidade percebida pelo humano com menor erro absoluto.

Implicações Práticas:

• Sistemas de recuperação de informações (RAG) ou recomendadores para consumidores podem usar esses modelos para filtrar e priorizar frases claras ou simplificar automaticamente frases relevantes mas difíceis.
• A abordagem em nível de frase oferece uma solução mais matizada do que as métricas de documento inteiro, permitindo intervenções pontuais para melhorar a transparência dos relatórios ESG.
• O estudo destaca a necessidade de modelos personalizados e a importância de considerar o contexto local e externo na avaliação de legibilidade futura.

Em suma, o artigo fornece uma base técnica sólida para automatizar a avaliação de clareza em relatórios de sustentabilidade, um passo crucial para o empoderamento real do consumidor na economia verde.