Resumo Técnico: Pesquisa sobre Métodos de Avaliação de Legibilidade para Textos em Inglês Baseados em Inteligência Artificial

1. Definição do Problema

O artigo aborda as limitações dos atuais sistemas automatizados de avaliação de legibilidade, que lutam para equilibrar riqueza semântica, interpretabilidade e eficiência computacional. Métodos tradicionais baseados em fórmulas (ex: Flesch-Kincaid, Gunning Fog) dependem de características linguísticas superficiais, como comprimento de frase e contagem de sílabas, falhando em capturar o significado semântico, a continuidade do discurso e estruturas de frases complexas. Por outro lado, embora modelos baseados em deep learning e transformers (ex: BERT, RoBERTa) se destaquem no entendimento contextual, eles frequentemente exigem recursos computacionais significativos, carecem de interpretabilidade e podem ignorar pistas linguísticas explícitas cruciais para a estimativa de legibilidade. As abordagens híbridas existentes muitas vezes falham em integrar efetivamente embeddings semânticos profundos com características linguísticas manuais interpretáveis dentro de um framework de regressão unificado.

2. Metodologia

O estudo propõe um Framework Híbrido RoBERTa–XGBoost projetado para prever pontuações contínuas de legibilidade para textos em inglês. A metodologia segue um pipeline estruturado:

• Dataset: A pesquisa utiliza o CLEAR Corpus (CommonLit Ease of Readability), um dataset de referência contendo 4.724 amostras de textos em inglês anotadas, variando do nível de 3º ao 12º ano. Os dados foram divididos em um conjunto de treinamento (3.779 amostras) e teste (945 amostras) na proporção de 80/20.
• Pré-processamento: O texto bruto passou por normalização (conversão para minúsculas), remoção de caracteres especiais não linguísticos, segmentação de sentenças e tokenização usando o tokenizer do RoBERTa.
• Extração de Características (Fluxo Duplo):
  1. Características Semânticas: Um modelo RoBERa-Base foi utilizado para gerar embeddings semânticos de 768 dimensões. O modelo foi configurado com uma taxa de aprendizado de 1.00E-05, comprimento máximo de sequência de 512, tamanho de lote (batch size) de 16, e treinado por 10 épocas; no entanto, o artigo afirma explicitamente que o modelo foi empregado em um estado congelado, sem fine-tuning adicional, para extrair representações contextuais ocultas. A representação do token [CLS] foi extraída para capturar o significado contextual global de cada passagem.
  2. Características Linguísticas: 39 características manuais foram projetadas para capturar propriedades estruturais, incluindo comprimento médio de palavra, comprimento de sentença, densidade lexical, razões de pontuação, razões de conjunção e complexidade sintática.
• Fusão de Características: Ambos os conjuntos de características foram normalizados usando Standard Scaling para garantir uma distribuição uniforme. Os vetores semânticos de 768 dimensões e os vetores linguísticos de 39 dimensões foram concatenados para formar um vetor de características unificado de 807 dimensões.
• Treinamento do Modelo: As características fundidas foram inseridas em um Regressor XGBoost. O modelo foi otimizado usando Grid Search Cross-Validation (5-fold) para ajustar hiperparâmetros como taxa de aprendizado, profundidade da árvore e número de estimadores. A função objetivo minimizou o erro quadrático enquanto aplicava regularização (L1 e L2) para evitar overfitting.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Desenvolvimento de Framework: A criação de um framework de regressão inteligente baseado em IA híbrida para prever pontuações contínuas de legibilidade em textos em inglês utilizando o CLEAR Corpus.
2. Articulação de Workflow: Uma documentação abrangente do fluxo de trabalho de ponta a ponta, incluindo coleta de dados, pré-processamento (tratamento de valores ausentes, limpeza de texto, tokenização) e a extração específica de embeddings semânticos do RoBERTa e características linguísticas projetadas.
3. Estratégia de Fusão de Características: A implementação de uma técnica de fusão específica que combina representações semânticas baseadas em RoBERTa com características linguisticamente desenhadas via escalonamento e concatenação, seguido de regressão XGBoost com Grid Search Cross-Validation para ajuste de hiperparâmetros.
4. Avaliação de Desempenho: Uma avaliação rigorosa da solução proposta contra modelos de baseline (Regressão Linear, Regressão de Vetores de Suporte, Random Forest) e estudos de ablação usando métricas de regressão padrão (RMSE, MAE, R²).

4. Resultados Experimentais

O modelo proposto demonstrou desempenho superior em comparação a todos os baselines e variantes de ablação:

• Métricas Primárias: O modelo híbrido completo alcançou um RMSE de 0.0980, um MAE de 0.0794 e um R² de 0.9908.
• Desempenho Comparativo:
  • vs. Baselines: O modelo proposto superou a Regressão Linear (R²: 0.944), a Regressão de Vetores de Suporte (R²: 0.762) e o Random Forest (R²: 0.965).
  • vs. Estudos de Ablação: O modelo completo superou significativamente os modelos que utilizavam apenas características semânticas (RoBERTa + Precomputed: R² 0.882), apenas características linguísticas (R² 0.685), ou Apenas RoBERTa com Fine-tuning (R² 0.722), conforme listado no estudo de ablação (Tabela 3).
• Análise de Erro: A análise de resíduos indicou que os erros foram distribuídos normalmente em torno de zero com viés mínimo, confirmando a confiabilidade do modelo.
• Importância das Características: A análise revelou que as características sintáticas, especificamente a Razão de Conjunção (0.1802) e a Razão de Preposição (0.0946), estavam entre os preditores mais influentes, validando a importância de integrar pistas estruturais com embeddings semânticos.

5. Significância e Alegações

O artigo afirma que a integração de embeddings semânticos profundos com características linguísticas interpretáveis aumenta significativamente a precisão de previsão e a capacidade de generalização. O estudo sustenta que esta abordagem híbrida consegue preencher a lacuna entre o entendimento contextual de modelos transformer e a interpretabilidade estrutural da análise linguística tradicional.

O autor posiciona o framework como uma solução escalável para:

• Adaptação de Conteúdo Educacional: Ajustar materiais de aprendizagem para níveis específicos de estudantes.
• Avaliação de Manuscritos: Auxiliar na avaliação da complexidade de textos para publicação.
• Aplicações de Processamento de Linguagem Natural: Fornecer um método robusto para nivelamento automatizado de texto e recomendação de conteúdo.

O artigo conclui que o método proposto oferece uma base cientificamente fundamentada para análise linguística automatizada, alcançando alta precisão (capturando >99% da variância) enquanto mantém a confiabilidade computacional através do uso de aprendizado de conjunto (ensemble learning) otimizado. Sugere-se que trabalhos futuros explorem a robustez translinguística, a integração de módulos de IA Explicável (XAI) como SHAP, e o uso de modelos leves (ex: DistilRoBERTa) para eficiência do pipeline.