Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing

Resumo Técnico: Juízo Avaliativo no Ensino de Tradução Baseada em IA

Enunciado do Problema
A pedagogia da tecnologia de tradução tem migrado progressivamente do ensino procedimental de ferramentas para modelos que exigem literacia crítica em IA, incluindo agência humana, consciência de dados e tomada de decisão ética. Um desafio central neste domínio é que a IA Generativa (GenAI) e os Grandes Modelos de Linguagem (LLMs) frequentemente produzem resultados fluentes e coerentes que podem, ainda assim, conter imprecisões terminológicas, problemas de adequação ou falhas estilísticas. Consequentemente, o ensino de tradução deve ir além de ensinar os alunos a gerar resultados, passando a treiná-los para atuarem como "árbitros de qualidade". O problema pedagógico específico abordado é como fomentar o "juízo avaliativo" — a capacidade de tomar decisões informadas e baseadas em evidências sobre a qualidade da tradução e de justificar essas decisões — dentro de um ambiente de sala de aula que compara LLMs, sistemas de Tradução Automática Neural (NMT) e tradução humana.

Metodologia
O estudo utiliza um design de estudo de caso qualitativo exploratório com suporte quantitativo descritivo, analisando 23 projetos de estudantes anonimizados de uma disciplina de Tradução Automática e Pós-edição de quarto ano de graduação na Universitat Pompeu Fabra (ano letivo 2025–2026).

• Design da Tarefa: Os alunos completaram um fluxo de trabalho em múltiplas etapas:
  1. Produziram uma tradução humana de um texto especializado da Wikipédia em inglês (aprox. 300 palavras) para catalão ou espanhol.
  2. Geraram quatro resultados de tradução automática: dois utilizando sistemas baseados em LLM e dois utilizando sistemas NMT.
  3. Avaliaram os resultados usando métricas automáticas (COMET, BLEU, TER, ChrF) via ambiente MATEO.
  4. Realizaram avaliação humana focando em adequação e fluência (escala de 4 pontos) com anotação de erros por segmento.
  5. Selecionaram um resultado para pós-edição e justificaram a escolha em um relatório escrito.
  6. Realizaram a pós-edição da versão selecionada.
• Análise de Dados: A análise concentrou-se nos 22 casos acompanhados pelos relatórios escritos. As fontes de dados incluíram a tabela de codificação mestra (agregando métricas, escolhas de sistema e categorias de erro) e o conteúdo qualitativo dos relatórios.
• Estratégia de Codificação: Foi utilizada uma abordagem híbrida. Categorias dedutivas (adequação, fluência, esforço de pós-edição) foram derivadas do design da tarefa, enquanto subtemas indutivos (instabilidade terminológica, naturalidade sintática) emergiram dos relatórios. Os relatórios foram classificados em uma escala ordinal de juízo avaliativo (Baixo a Alto) com base na triangulação de evidências (métricas, avaliação humana, análise de erros) usada para justificar decisões.

Resultados Principais

• Divergência entre Métricas e Escolha Humana: As métricas automáticas não ditaram as seleções finais. Em 10 de 22 casos com base em relatórios, o sistema classificado como melhor pelas métricas automáticas não foi o selecionado para a pós-edição. Por exemplo, embora o ChatGPT tenha sido o "vencedor automático" mais frequente (9 casos), o DeepL foi a seleção final mais frequente (10 casos).
• Natureza do Juízo Avaliativo: A maioria dos relatórios (16 de 22) demonstrou um juízo avaliativo "Alto" ou "Médio a Alto". Os alunos não dependeram apenas das pontuações das métricas; em vez disso, justificaram suas escolhas com base em uma avaliação multidimensional incluindo adequação, fluência, terminologia, naturalidade e esforço esperado de pós-edição.
• Padrões de Erro: A atenção dos alunos concentrou-se em questões especializadas frequentemente ignoradas pela fluência superficial. As categorias de erro mais frequentes identificadas foram terminologia/léxico (19 relatórios), adequação/transferência de sentido (15), sintaxe/calcados (14) e naturalidade/estilo (14).
• Esforço de Pós-edição como Critério de Decisão: Uma descoberta significativa é que os alunos frequentemente selecionaram o resultado que exigia a menor reformulação severa ou a revisão mais localizada, mesmo que outro sistema tivesse pontuações mais altas em métricas automáticas. Isso indica uma mudança para uma tomada de decisão consciente do fluxo de trabalho.
• Desenvolvimento de Literacia em IA: Os alunos demonstraram uma abordagem condicional à IA, reconhecendo que diferentes sistemas ofereciam forças parciais. Alguns relatórios notaram explicitamente que, embora um sistema tenha sido selecionado para pós-edição, os insights de outros sistemas contribuíram para a compreensão final do texto.

Principais Contribuições

1. Design Pedagógico: O artigo apresenta um fluxo de trabalho integrado em sala de aula que combina tradução humana, comparação de múltiplos sistemas (LLM e NMT), avaliação automática e humana, e decisões consequentes de pós-edição. Este design força os alunos a reconciliar diferentes formas de evidência em vez de tratar o resultado da IA como um produto acabado.
2. Evidência Empírica de Raciocínio: O estudo fornece evidência qualitativa de como os alunos justificam a seleção de sistemas. Demonstra que os alunos podem ser treinados para sobrepor métricas automáticas em favor da adequação específica do domínio e da eficiência da pós-edição.
3. Operacionalização do Juízo Avaliativo: O artigo argumenta que o juízo avaliativo deve ser tratado não como um conceito abstrato, mas como um componente prático da literacia em IA, onde os alunos aprendem a calibrar a dependência das ferramentas de IA com base no tipo de texto, domínio e requisitos de qualidade.

Significância e Alegações
O artigo alega modestamente que sua principal contribuição é pedagógica, e não de benchmarking técnico. Não afirma que os LLMs ou NMT sejam categoricamente superiores; em vez disso, mostra que as preferências dos alunos dependem do texto e são justificadas por critérios específicos (terminologia, naturalidade, esforço).

A significância reside em demonstrar que tarefas de comparação estruturada podem fomentar efetivamente um juízo crítico, reflexivo e profissionalmente relevante na educação de tradutores. Ao exigir que os alunos deixem um "rastro de seu raciocínio" através da interpretação de métricas, anotação de erros e relatórios de justificativa, a tarefa posiciona os alunos como árbitros ativos da qualidade. Isso apoia o objetivo educacional mais amplo de mover os alunos de usuários passivos de ferramentas para comparadores críticos que podem tomar decisões responsáveis sobre quando e como intervir na tradução mediada por IA. O estudo conclui que tais tarefas são essenciais para desenvolver a "agência humana" necessária para navegar nos riscos e possibilidades da GenAI nos fluxos de trabalho de tradução profissional.