Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach

Visão Geral

O artigo propõe um novo framework de engenharia de prompts para Avaliação Automática de Redação (AES) específica para o idioma árabe. O foco principal é avaliar a proficiência linguística em nível de traços (como organização, vocabulário, desenvolvimento e estilo) utilizando Grandes Modelos de Linguagem (LLMs) em configurações de zero-shot e few-shot, sem a necessidade de fine-tuning (ajuste fino) dos modelos.

---

1. O Problema

• Escassez de Ferramentas: Embora existam avanços significativos em AES para idiomas de alto recurso (como o inglês), o árabe carece de ferramentas escaláveis e linguisticamente informadas que avaliem a proficiência baseada em habilidades distintas.
• Limitações das Abordagens Atuais: Os sistemas existentes de AES em árabe focam predominantemente na pontuação holística ou na correção de conteúdo (ex: uso do AraBART), negligenciando nuances críticas como organização, riqueza vocabular, desenvolvimento de ideias e adequação estilística.
• Falta de Dados Anotados: Há uma carência de conjuntos de dados públicos anotados por traços linguísticos específicos para árabe, o que dificulta o treinamento de modelos supervisionados tradicionais.
• Complexidade Linguística: A complexidade morfológica e sintática do árabe exige abordagens que vão além da simples similaridade de texto.

---

2. Metodologia

Os autores introduzem uma estratégia de prompting de três níveis projetada para guiar LLMs na avaliação de traços específicos, utilizando o conjunto de dados QAES (o primeiro recurso público de AES em árabe com anotações por traços).

Estrutura de Prompting (Três Níveis):

1. Nível 1: Prompting Padrão (Zero-Shot):
   • O LLM recebe uma instrução direta para atribuir pontuações numéricas para todos os sete traços linguísticos (Organização, Vocabulário, Estilo, Desenvolvimento, Mecânica, Estrutura, Relevância) em uma única passagem, sem exemplos ou rubricas detalhadas.
2. Nível 2: Prompting Híbrido (Simulação de Agentes Especialistas):
   • Simula uma avaliação multi-agente onde cinco "avaliadores virtuais" especializados avaliam o texto. Cada avaliador foca em um conjunto específico de traços (ex: um especialista em vocabulário ignora a organização).
   • A pontuação final para cada traço é calculada pela média das pontuações dos avaliadores relevantes, permitindo uma avaliação mais focada e detalhada.
3. Nível 3: Prompting Guiado por Rubrica (Few-Shot):
   • O modelo recebe prompts específicos para cada traço, acompanhados de uma guia de avaliação detalhada e três exemplos anotados (baixa, média e alta pontuação).
   • O modelo compara a redação alvo com os exemplos e a rubrica, gerando uma pontuação com justificativa em formato JSON estruturado.

Configuração Experimental:

• Dataset: QAES (195 redações de estudantes universitários com anotações de traços feitas por humanos).
• Modelos: 8 LLMs variados (incluindo ChatGPT-4, Fanar-1-9B, Jais, ALLaM, Qwen1.5/2.5/3-VL, LLaMA-2).
• Métrica de Avaliação: Kappa Ponderado Quadrático (QWK) para medir o acordo entre as pontuações do modelo e os avaliadores humanos, complementado por Intervalos de Confiança (CI) de 95% via bootstrapping.

---

3. Contribuições Principais

1. Primeiro Framework de Proficiência Orientada a Traços em Árabe: Estudo pioneiro a aplicar engenharia de prompts estruturada para avaliação de traços linguísticos em redações árabes.
2. Framework de Prompting de Três Níveis: Introdução de uma abordagem híbrida que simula especialistas humanos e uma abordagem few-shot com exemplos, demonstrando que a estrutura do prompt é mais crítica que o tamanho do modelo.
3. Aplicação de Few-Shot para Árabe: Primeira aplicação conhecida de few-shot prompting para pontuação específica de traços em língua árabe.
4. Análise de Incerteza: Introdução do uso de Intervalos de Confiança (CI) para interpretar a estabilidade das pontuações QWK em AES árabe, revelando a variabilidade nos dados.
5. Recursos Abertos: Disponibilização do código e dos prompts para reprodutibilidade.

---

4. Resultados e Análise

• Desempenho Geral: Os resultados mostraram acordos de baixa a moderada (QWK geral em torno de 0,28 para o melhor modelo), ficando abaixo do acordo entre avaliadores humanos (0,72), mas superando baselines anteriores de modelos supervisionados simples (QWK ~0,26).
• Melhor Modelo: O Fanar-1-9B-Instruct alcançou o melhor desempenho em ambos os cenários zero-shot e few-shot, com um QWK de 0,28 e um limite superior de intervalo de confiança de 0,41.
• Impacto do Prompting:
  • A transição do Nível 1 para o Nível 3 (Guiado por Rubrica) resultou em ganhos consistentes em todos os modelos e traços.
  • Traços Discursivos: Traços de alto nível como Desenvolvimento e Estilo apresentaram as maiores melhorias com o prompting estruturado.
  • Traços Mecânicos: A pontuação de Mecânica (ortografia, gramática) mostrou maior estabilidade e menor variância.
• Tamanho do Modelo vs. Engenharia de Prompt: O estudo concluiu que a estrutura do prompt tem um impacto maior no desempenho do que o tamanho do modelo. Modelos menores (como Qwen1.5 e LLaMA-2) falharam em prompts complexos (Nível 3), enquanto modelos de tamanho médio e bem ajustados (Fanar, ALLaM) performaram melhor.
• Limitações dos Modelos: Modelos menores e alguns modelos proprietários (como ChatGPT-4 em certos cenários) tiveram dificuldade em seguir instruções complexas de múltiplos traços, gerando pontuações próximas de zero ou falhas na extração de dados.

---

5. Significado e Conclusão

• Viabilidade em Recursos Limitados: O estudo demonstra que a avaliação escalável de redações em árabe é viável sem fine-tuning custoso, utilizando apenas engenharia de prompts avançada. Isso é crucial para contextos educacionais com poucos recursos.
• Mudança de Paradigma: A pesquisa desloca o foco de "treinar modelos maiores" para "projetar prompts melhores", sugerindo que a especificidade da instrução é o fator chave para alinhar LLMs com padrões humanos de avaliação.
• Futuro: O trabalho estabelece a base para o desenvolvimento de ferramentas educacionais adaptadas ao árabe e sugere a necessidade de expandir os conjuntos de dados anotados e explorar técnicas de adaptação eficiente de parâmetros para superar as limitações atuais de variabilidade e custo.

Em resumo, o artigo valida que a engenharia de prompts estruturada e orientada a rubricas é uma estratégia eficaz para superar as limitações de dados e melhorar a precisão da avaliação automática de proficiência em línguas de baixo recurso, como o árabe.