Resumo Técnico: Generalização de Rubrica Cruzada para Avaliação de Ensaios de Pensamento Crítico

Definição do Problema

A pesquisa em Avaliação Automática de Ensaios (AES) tem se concentrado tradicionalmente na generalização de prompt cruzado, onde modelos pontuam ensaios de prompts não vistos enquanto aderem a um conjunto constante de critérios de pontuação (rubricas). No entanto, a avaliação educacional do mundo real frequentemente exige a generalização de rubrica cruzada: treinar um modelo em ensaios rotulados sob um conjunto de rubricas e avaliar sua capacidade de pontuar ensaios sob rubricas anteriormente não vistas que visam diferentes aspectos da escrita. Isso é particularmente desafiador na avaliação do pensamento crítico, onde novos critérios de rubrica podem ser introduzidos ao longo do tempo e a obtenção de anotações de especialistas para essas novas rubricas é dispendiosa.

O desafio central é que o modelo deve generalizar para novos critérios de pontuação onde a evidência textual relevante, sua interpretação e a definição de proficiência diferem da distribuição de treinamento. Este artigo define a tarefa como o mapeamento de ensaios para níveis discretos de proficiência definidos por rubricas de linguagem natural, onde o modelo é treinado em um conjunto disjunto de rubricas de treinamento ($\mathcal{R}_{train}$) e ensaios ($\mathcal{E}_{train}$), mas deve avaliar ensaios ($\mathcal{E}_{test}$) sob rubricas de teste não vistas ($\mathcal{R}_{test}$).

Metodologia

Os autores propõem um framework de ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LLM) que aborda a generalização de rubrica cruzada através de dois componentes primários: representações de traços agnósticos à rubrica e estratégias de supervisão de ensaios-alvo.

1. Representações de Traços Agnósticos à Rubrica

Para reduzir a lacuna entre rubricas específicas e a qualidade geral do ensaio, os autores introduzem um conjunto de seis traços analíticos fundamentados na teoria da argumentação e do pensamento crítico. Esses traços servem como uma representação intermediária compartilhada ($h(e)$) que captura propriedades de nível inferior recorrentes em diferentes rubricas:

• Explicitude da Alegação: Clareza do ponto principal.
• Coerência Estrutural: Organização e conexão de ideias.
• Evidência de Suporte: Uso de exemplos e fatos.
• Ligação Evidência–Alegação: Explicação de como a evidência sustenta a alegação.
• Perspectivas Alternativas: Consideração de outros pontos de vista.
• Profundidade Analítica: Raciocínio além da descrição.

Esses traços são definidos como categorias fixas e agnósticas à rubrica (ex: ausente/parcial/forte). O framework explora quatro configurações para integrar esses traços:

• Apenas Entrada: Anexar valores de traços (e, opcionalmente, observações em linguagem natural) à entrada do modelo.
• Apenas Saída: Treinar o modelo para prever conjuntamente os valores dos traços (e observações) juntamente com o rótulo da rubrica final.

2. Configurações de Supervisão

O estudo investiga como a disponibilidade de rótulos de ensaios durante o treinamento afeta a generalização para rubricas não vistas, considerando três configurações distintas:

• Sem Rótulos (Mais Difícil): O modelo é treinado apenas em $\mathcal{E}_{train}$ e $\mathcal{R}_{train}$. Os ensaios-alvo ($\mathcal{E}_{test}$) não são vistos durante o treinamento.
• Rótulos Pseudo (Pseudo Labels): O modelo é primeiro treinado na configuração "Sem Rótulos", sendo então usado para gerar rótulos pseudo para $\mathcal{E}_{test}$ sob rubricas vistas ($\mathcal{R}_{train}$). Um novo modelo é treinado neste conjunto de dados aumentado.
• Rótulos de Ouro (Gold Labels): Ensaios-alvo ($\mathcal{E}_{test}$) estão disponíveis durante o treinamento, mas apenas sob rubricas vistas ($\mathcal{R}_{train}$) com rótulos anotados por humanos. O modelo é avaliado em $\mathcal{E}_{test}$ sob rubricas não vistas ($\mathcal{R}_{test}$).

3. Arquitetura do Modelo

Os autores realizam o ajuste fino do Llama 3.1 8B Instruct usando uma abordagem de geração de texto condicional. Para cada par ensaio-rubrica, o modelo gera uma justificativa em linguagem natural seguida pelo rótulo da rubrica. O objetivo de treinamento minimiza a perda de entropia cruzada (cross-entropy loss).

Principais Resultados

Experimentos foram conduzidos em um conjunto de dados de 500 ensaios de pensamento crítico de estudantes anotados sob seis rubricas. Os resultados destacam as seguintes tendências:

Impacto de Traços e Supervisão

• Traços na Configuração Mais Difícil: Na configuração Sem Rótulos (sem supervisão de ensaios-alvo), a incorporação de traços melhora significamente o desempenho. Especificamente, a configuração "Saída: Valores de Traço" melhorou o Macro F1 em 5,0% (de 0,353 para 0,403) e a Acurácia em 3,7% em comparação com o baseline sem traços. Prever traços como saídas provou ser mais eficaz do que fornecê-los como entradas, sugerindo que a geração de abstrações de nível de traço incentiva um mapeamento estruturado.
• Retornos Decrescentes com Supervisão: O benefício dos traços diminui à medida que a supervisão aumenta. Na configuração Rótulos de Ouro, as configurações baseadas em traços não superaram consistentemente o baseline sem traços, sugerindo que a supervisão direta nos ensaios-alvo permite que o modelo aprenda representações agnósticas à rubrica de forma mais eficaz sem o suporte de traços intermediários.
• Impacto da Supervisão: O aumento da supervisão de Sem Rótulos para Rótulos de Ouro melhorou consistentemente o desempenho. A configuração de Rótulos de Ouro gerou os maiores ganhos, melhorando o Macro F1 em 7,8% sobre o baseline Sem Rótulos. Os Rótulos Pseudo ofereceram uma alternativa competitiva e prática quando os rótulos de ouro não estão disponíveis.

Comparação com Baselines

• Ajuste Fino vs. Zero-Shot: O ajuste fino do modelo Llama de código aberto superou substancialmente o zero-shot prompting do mesmo modelo. O F1 aumentou de 0,222 (zero-shot) para 0,353 (baseline de ajuste fino), demonstrando que a exposição à distribuição de rótulos durante o treinamento é crítica para calibração e alinhamento ordinal.
• Código Aberto vs. Proprietário: O melhor modelo ajustado (Rótulos de Ouro, Sem Traços) alcançou um Macro F1 de 0,431. Este superou o GPT-5-mini proprietário (0,410) em 2,1% e ficou atrás do GPT-5 maior (0,450) por apenas 1,9%.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Formulação do Problema: Estabelece a generalização de rubrica cruzada como um desafio distinto e crítico em AES, indo além da configuração padrão de prompt cruzado para abordar cenários onde os próprios critérios de pontuação mudam.
2. Análise Sistemática: Fornece um estudo sistemático de dois mecanismos principais para melhorar a generalização: representações de traços agnósticos à rubrica e supervisão de ensaios-alvo.
3. Eficácia Prática: Os resultados demonstram que esses componentes melhoram a generalização de formas complementares. Os traços são particularmente vitais em configurações de baixa supervisão (Sem Rótulos), enquanto a supervisão forte permite que modelos de código aberto ajustados rivalizem com sistemas proprietários baseados em prompting.

Os autores concluem que estruturas intermediárias baseadas em traços e supervisão controlada oferecem uma alternativa escalável, econômica e preservadora de privacidade para a avaliação baseada em rubricas, particularmente conforme os critérios de pontuação evoluem em contextos educacionais. Eles observam que trabalhos futuros devem examinar a generalizabilidade dessas descobertas para outros conjuntos de dados e domínios de escrita, e explorar técnicas de aprendizado de baixa supervisão mais robustas.