💻 computer science

Zero-shot Large Language Models for Automatic Readability Assessment

Este artigo apresenta uma metodologia de prompting zero-shot e um modelo híbrido denominado LAURAE que aproveitam modelos de linguagem de grande escala para alcançar avaliação automática de legibilidade não supervisionada, robusta e de última geração em diversos conjuntos de dados, idiomas e tipos de texto.

Autores originais: Riley Grossman, Yi Chen

Publicado 2026-04-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Riley Grossman, Yi Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um bibliotecário tentando organizar uma pilha enorme de livros. Alguns são escritos para crianças pequenas, alguns para estudantes do ensino médio e outros para professores universitários. Seu objetivo é descobrir quais livros são fáceis de ler e quais são difíceis, para que você possa recomendar os adequados às pessoas certas.

No passado, os bibliotecários usavam uma régua simples para medir isso. Eles contavam coisas como "quão longas são as frases?" e "quantas palavras grandes existem?". Isso é como usar uma fórmula de legibilidade. É rápido e barato, mas um pouco desajeitado. Pode achar que uma frase curta com uma única palavra médica gigante é "fácil" apenas porque a frase é curta, ou pode ignorar o fato de que um parágrafo longo é, na verdade, muito claro e simples.

Mais tarde, os bibliotecários tentaram contratar uma equipe de especialistas humanos para ler cada livro individualmente. Isso era preciso, mas levava uma eternidade e custava uma fortuna.

Então, os computadores ficaram mais inteligentes. Pesquisadores começaram a usar Modelos de Linguagem de Grande Escala (LLMs) — uma IA superinteligente que leu quase tudo na internet — para atuar como o especialista. A ideia era: "Vamos perguntar à IA, 'Quão difícil é isso de ler?'".

O Problema com as Primeiras Tentativas de IA

Os autores deste artigo descobriram que as primeiras tentativas de usar IA para essa tarefa eram um pouco como pedir a um aluno genial que fizesse uma prova sem dar a ele as instruções ou a rubrica de avaliação.

O Problema da Rubrica: Se você pedir a uma IA para dar uma pontuação de 1 a 10, ela pode adivinhar o que "10" significa. Mas se você disser a ela: "1 significa nível de primeira série e 10 significa nível de doutorado", e der a ela as definições, ela se sai muito melhor.
O Problema da Adivinhação: Quando a IA responde, ela não apenas solta um número; ela calcula a probabilidade de muitos números diferentes. Os métodos antigos pegavam apenas o número mais provável. Os autores descobriram que, se você olhar para todas as possibilidades que a IA considerou e calcular a média delas (como uma média ponderada de todas as suas suposições), você obtém uma pontuação muito mais precisa.

A Nova Solução: "LAURAE"

Os autores criaram um novo sistema chamado LAURAE. Pense no LAURAE como um super-bibliotecário que usa duas ferramentas ao mesmo tempo:

A IA Inteligente: Ela lê o texto e entende o contexto, o tom e o significado.
A Régua Simples: Ela conta o comprimento das frases e as sílabas (o jeito antigo).

O LAURAE não escolhe apenas uma ou a outra. Ele pergunta à IA: "Quão certo você está sobre sua resposta?"

Se a IA estiver muito confiante (por exemplo: "Tenho 90% de certeza de que este é um texto de nível universitário"), o LAURAE ouve principalmente a IA.
Se a IA estiver insegura (por exemplo: "Tenho apenas 50% de certeza, talvez seja difícil, talvez seja fácil"), o LAURAE se apoia mais na régua simples para ajudar a tomar a decisão.

Ao misturar o "cérebro inteligente" da IA com a "matemática confiável" da régua, e deixar que a confiança da IA decida quanto peso dar a cada uma, o LAURAE torna-se muito mais difícil de enganar.

O Que Eles Testaram

Para provar que isso funciona, os autores não testaram apenas em um tipo de texto. Eles testaram em 14 conjuntos diferentes de textos, incluindo:

Orientações médicas para pacientes.
Livros didáticos de história em grego.
Artigos de notícias em francês, hindi, árabe e russo.
Frases curtas e parágrafos longos.

Eles compararam seu novo método com as antigas fórmulas de "régua" e com os métodos de IA "burros".

Os Resultados

O Novo Método de IA: Mesmo sem a ajuda da régua, a nova maneira de perguntar à IA (dando a ela a rubrica e calculando a média de suas suposições) superou os antigos métodos de IA em quase todos os testes.
LAURAE (A Combinação): Quando combinaram a IA com a régua, o resultado foi um campeão. O LAURAE venceu todos os outros métodos em 13 dos 14 conjuntos de dados. Foi especialmente bom ao lidar com textos em idiomas que não são o inglês e com textos muito técnicos ou muito curtos.

A Pegadinha

Existem duas pequenas desvantagens em usar este novo sistema:

Você precisa saber um pouco de código: Você não pode apenas clicar em um botão em um site; precisa executar o código você mesmo.
Precisa de um computador potente: A IA exige uma placa gráfica poderosa (como uma placa de vídeo de alto desempenho) para funcionar, o que consome mais eletricidade do que as fórmulas simples de régua.

A Conclusão

O artigo conclui que, se você precisa classificar automaticamente a dificuldade de leitura de uma pilha enorme de documentos, o LAURAE é a melhor ferramenta disponível atualmente. É mais preciso do que as fórmulas antigas e mais confiável do que apenas fazer uma pergunta simples a uma IA. Funciona como uma rede de segurança: quando a IA está confiante, ela lidera; quando a IA está insegura, a matemática simples intervém para ajudar.

1. Declaração do Problema

A Avaliação de Legibilidade Automática (ARA) é crítica para garantir que materiais educacionais e médicos sejam acessíveis aos públicos-alvo. Embora as fórmulas de legibilidade tradicionais (por exemplo, Flesch-Kincaid) sejam de fácil implementação, elas dependem de características superficiais (comprimento da frase, contagem de sílabas) e frequentemente falham em capturar nuances contextuais. Por outro lado, os métodos de aprendizado de máquina supervisionado oferecem maior precisão, mas exigem grandes conjuntos de dados manualmente anotados, que são custosos e demorados para produzir.

Pesquisas recentes exploraram métodos não supervisionados usando Grandes Modelos de Linguagem (LLMs) via prompts zero-shot. No entanto, estudos existentes (por exemplo, Trott & Rivière, 2024) apresentam limitações:

Baseiam-se em avaliações restritas (frequentemente conjuntos de dados únicos em inglês).
Utilizam técnicas de prompting simplistas (por exemplo, solicitar um número sem definições de escala).
Testam principalmente modelos de código fechado (GPT-4) em vez de alternativas de código aberto diversas.
Há uma falta de compreensão sobre como esses métodos se comportam em diferentes idiomas, comprimentos de texto e domínios técnicos.

O artigo aborda a lacuna na avaliação abrangente e no rigor metodológico para o uso de LLMs zero-shot como uma ferramenta de ARA não supervisionada e robusta.

2. Metodologia

Os autores propõem dois avanços metodológicos principais: uma estratégia de prompting zero-shot refinada para LLMs e um novo método de ensemble chamado LAURAE.

A. Prompting Zero-Shot Refinado para LLMs

Os autores propõem duas melhorias específicas sobre as técnicas de prompting padrão:

Definições de Escala: Em vez de solicitar uma pontuação arbitrária, o LLM é instruído usando a mesma escala e definições utilizadas por anotadores humanos (por exemplo, o Quadro Comum Europeu de Referência para Línguas - CEFR). Para conjuntos de dados sem escalas específicas, utiliza-se uma escala de 1 a 9 com definições detalhadas de fatores de legibilidade (gramática, clareza).
Pontuação de Valor Esperado: Em vez de aceitar apenas o único token "vanilla" gerado pelo modelo (o token de maior probabilidade), os autores calculam a pontuação de legibilidade como o valor esperado sobre as probabilidades dos tokens de saída do modelo.
- Formalmente, se o modelo gerar um token na posição $n$ , a pontuação $s_{LLM}$ é computada somando o produto da probabilidade e do valor do token para todos os tokens numéricos na distribuição de probabilidade classificada até que um token não numérico seja encontrado. Isso reduz empates e captura a incerteza do modelo.

B. LAURAE (Ensemble de Avaliação de Legibilidade Automática Não Supervisionada Baseada em LLM)

Para melhorar a robustez, os autores introduzem o LAURAE, um método de ensemble que combina:

Características Contextuais Profundas: Pontuações do LLM instruído via zero-shot.
Características Superficiais: Pontuações de fórmulas de legibilidade tradicionais (por exemplo, FKGL, ARI, Lix).

Mecanismo de Ponderação:
Como o cenário é não supervisionado (sem verdade fundamental para ajuste), o LAURAE utiliza a confiança verbal auto-relatada do LLM como fator de ponderação.

O LLM é instruído a emitir uma pontuação de confiança (1–9) sobre o quão bem sua classificação se alinha com avaliadores humanos.
Essa pontuação de confiança é convertida em um peso $c$ (normalizado para 0,1–0,9).
A pontuação final é uma combinação ponderada da pontuação padronizada do LLM e da pontuação padronizada da fórmula:
$\text{LAURAE} = c \cdot \left(\frac{s_{LLM} - \mu_{LLM}}{\sigma_{LLM}}\right) + (1-c) \cdot \left(\frac{s_{rf} - \mu_{rf}}{\sigma_{rf}}\right)$
Onde $c$ é o peso de confiança, e $\mu, \sigma$ representam as médias e desvios padrão no nível do conjunto de dados.

3. Configuração Experimental

Conjuntos de Dados: Foram utilizados 14 conjuntos de dados diversos, cobrindo:
- Idiomas: Inglês, Francês, Hindi, Árabe, Russo e Grego.
- Comprimentos: Nível de frase (por exemplo, Asset, OneStop) até nível de parágrafo/artigo (por exemplo, MedReadMe, livros didáticos gregos).
- Domínios: Geral, médico (MedReadMe), educacional (livros didáticos) e técnico.
- Verdade Fundamental: 11 conjuntos de dados com classificações explícitas; 3 com comparações em pares.
Modelos: 10 LLMs de código aberto e instruídos diversos foram avaliados, incluindo Llama 3.1/3.2, Aya Expanse, Gemma 2, Mixtral e Phi-4.
Baselines: Fórmulas de legibilidade tradicionais (FKGL, ARI, etc.), RSRS (um método não supervisionado baseado em PLM) e um método baseline zero-shot de LLM (LLM-v-ns) imitando trabalhos anteriores.

4. Resultados Principais

A. Desempenho de LLM Zero-Shot

Melhorias no Prompting: O método de prompting proposto (Definições de Escala + Valor Esperado) superou o método zero-shot baseline (LLM-v-ns) em 13 dos 14 conjuntos de dados.
Seleção de Modelos:
- Llama 3.1 70B teve o melhor desempenho em conjuntos de dados em inglês.
- Aya Expanse 32B (um modelo multilíngue) superou o Llama 70B em conjuntos de dados não em inglês, destacando a importância de dados de treinamento multilíngues.
Generalização: O método proposto mostrou ganhos significativos em conjuntos de dados não em inglês, sugerindo que fornecer definições de escala explícitas ajuda os LLMs a superar a falta de conhecimento internalizado em idiomas de recursos mais baixos.

B. Desempenho do LAURAE

Superioridade: O LAURAE superou todas as baselines (LLMs isolados, fórmulas e RSRS) em 13 dos 14 conjuntos de dados.
Robustez:
- Conseguiu preencher a lacuna onde LLMs isolados lutavam (por exemplo, textos muito curtos ou domínios técnicos específicos) ao aproveitar características de fórmulas superficiais.
- Mantive alto desempenho onde as fórmulas falhavam (por exemplo, textos contextuais complexos) ao aproveitar a compreensão do LLM.
Estudos de Ablação:
- O uso de pontuações de confiança verbal como pesos provou ser superior ao uso de pesos baseados em entropia ou ponderação igual (ensemble ingênuo).
- Substituir fórmulas de legibilidade por RSRS no ensemble resultou em desempenho ligeiramente inferior, confirmando que fórmulas simples são um componente "superficial" mais eficaz para esta tarefa específica.

5. Contribuições Principais

Avanço Metodológico: Introdução de um framework robusto de prompting zero-shot envolvendo definições de escala e pontuação de valor esperado, melhorando significativamente o desempenho do LLM sobre a arte anterior.
Método de Ensemble Inovador (LAURAE): Proposição de um ensemble ponderado por confiança que combina a força contextual dos LLMs com a estabilidade das fórmulas de legibilidade, alcançando desempenho não supervisionado state-of-the-art.
Avaliação Abrangente: Fornecimento da primeira avaliação em grande escala de 10 LLMs de código aberto em 14 conjuntos de dados diversos (idiomas, comprimentos, domínios), desafiando a suposição de que o GPT-4 é a única opção viável e revelando a necessidade de modelos multilíngues para tarefas não em inglês.
Recursos Abertos: Liberação de código, conjuntos de dados (incluindo conjuntos de dados de livros didáticos gregos curados) e prompts para facilitar pesquisas futuras.

6. Significado

Adoção Prática: O LAURAE oferece uma alternativa viável e de alta precisão à anotação manual para avaliação de legibilidade, particularmente útil nos setores de saúde e educação, onde o rótulo manual é excessivamente custoso.
Mudança de Paradigma: O artigo demonstra que, embora LLMs puros sejam poderosos, abordagens híbridas (combinando aprendizado profundo com heurísticas superficiais) produzem os resultados mais robustos em cenários não supervisionados.
Insight Multilíngue: As descobertas enfatizam que, para aplicações globais, modelos específicos multilíngues (como o Aya) são essenciais, e estratégias de prompting explícitas são necessárias para fechar as lacunas de desempenho em idiomas não em inglês.
Direções Futuras: O trabalho sugere que combinar classificações zero-shot de LLMs com ferramentas de PLN superficiais pode aprimorar outras tarefas não supervisionadas, como análise de sentimentos ou detecção de toxicidade.

Limitações Notadas: O método exige literacia em Python e recursos computacionais significativos (GPUs) em comparação com calculadoras de fórmulas simples. Além disso, a natureza de "caixa preta" das explicações dos LLMs não foi totalmente avaliada quanto à plausibilidade neste estudo.