Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing

Sintesi Tecnica: Il Giudizio Evolutivo nell'Insegnamento della Traduzione basata sull'IA

Problematica
La pedagogia della tecnologia della traduzione si è spostata progressivamente dall'istruzione procedurale degli strumenti verso modelli che richiedono una alfabetizzazione critica all'IA, inclusi l'agency umana, la consapevolezza dei dati e il processo decisionale etico. Una sfida centrale in questo dominio è che l'IA Generativa (GenAI) e i Large Language Models (LLM) producono spesso output fluidi e coerenti che possono tuttavia presentare imprecisioni terminologiche, problemi di adeguatezza o difetti stilistici. Di conseguenza, l'educazione dei traduttori deve andare oltre l'insegnamento di come generare output, per formare gli studenti a operare come "arbitri della qualità". Il problema pedagogico specifico affrontato riguarda come promuovere il "giudizio evolutivo" — la capacità di prendere decisioni informate e basate su prove riguardo alla qualità della traduzione e di giustificare tali decisioni — all'interno di un contesto di classe che confronta LLM, sistemi di Traduzione Automatica Neurale (NMT) e traduzione umana.

Metodologia
Lo studio impiega un disegno di caso studio qualitativo esplorativo con supporto quantitativo descrittivo, analizzando 23 progetti anonimizzati di studenti di un corso di quarto anno di Traduzione Automatica e Post-editing presso l'Universitat Pompeu Fabra (anno accademico 2025–2026).

• Design dell'Assignment: Gli studenti hanno completato un flusso di lavoro multi-stadio:
  1. Produzione di una traduzione umana di un testo specializzato da Wikipedia inglese (circa 300 parole) in catalano o spagnolo.
  2. Generazione di quattro output di traduzione automatica: due utilizzando sistemi basati su LLM e due utilizzando sistemi NMT.
  3. Valutazione degli output tramite metriche automatiche (COMET, BLEU, TER, ChrF) tramite l'ambiente MATEO.
  4. Conduzione di una valutazione umana focalizzata su adeguatezza e fluidità (scala a 4 punti) con annotazione degli errori a livello di segmento.
  5. Selezione di un output per la post-editing e giustificazione della scelta in un rapporto scritto.
  6. Esecuzione del post-editing sulla versione selezionata.
• Analisi dei Dati: L'analisi si è concentrata sui 22 casi accompagnati dai rapporti scritti. Le fonti dei dati includevano la tabella di codifica master (che aggrega metriche, scelte di sistema e categorie di errore) e il contenuto qualitativo dei rapporti.
• Strategia di Codifica: È stato utilizzato un approccio ibrido. Le categorie deduttive (adeguatezza, fluidità, sforzo di post-editing) sono state derivate dal design dell'assignment, mentre i sottotemi induttivi (instabilità terminologica, naturalezza sintattica) sono emersi dai rapporti. I rapporti sono stati valutati su una scala ordinale di giudizio evolutivo (Basso da Alto) basata sulla triangolazione delle prove (metriche, valutazione umana, analisi degli errori) utilizzate per giustificare le decisioni.

Risultati Chiave

• Divergenza tra Metriche e Scelta Umana: Le metriche automatiche non hanno dettato le selezioni finali. In 10 casi su 22 supportati da report, il sistema classificato come migliore dalle metriche automatiche non era quello selezionato per il post-editing. Ad esempio, sebbene ChatGPT sia stato il "vincitore automatico" più frequente (9 casi), DeepL è stato il sistema selezionato più frequentemente (10 casi).
• Natura del Giudizio Evolutivo: La maggior parte dei rapporti (16 su 22) ha dimostrato un giudizio evolutivo "Alto" o "Da Medio a Alto". Gli studenti non si sono affidati solo ai punteggi delle metriche; hanno invece giustificato le scelte basandosi su una valutazione multidimensionale che includeva adeguatezza, fluidità, terminologia, naturalezza e sforzo di post-editing previsto.
• Pattern di Errore: L'attenzione degli studenti si è concentrata su questioni specializzate spesso trascurate dalla fluidità superficiale. Le categorie di errore più frequenti identificate sono state terminologia/lessico (19 rapporti), adeguatezza/trasferimento del significato (15), sintassi/calchi (14) e naturalezza/stile (14).
• Lo Sforzo di Post-Editing come Criterio Decisionale: Un risultato significativo è che gli studenti hanno frequentemente selezionato l'output che richiedeva la minore riformulazione severa o la revisione più localizzata, anche se un altro sistema otteneva punteggi più alti nelle metriche automatiche. Ciò indica uno spostamento verso un processo decisionale consapevole del workflow.
• Sviluppo dell'Alfabetizzazione all'IA: Gli studenti hanno dimostrato un approccio condizionale all'IA, riconoscendo che diversi sistemi offrivano punti di forza parziali. Alcuni rapporti hanno esplicitamente notato che, sebbene un sistema fosse stato selezionato per il post-editing, gli approfondimenti derivanti da altri sistemi hanno contribuito alla comprensione finale del testo.

Contributi Chiave

1. Design Pedagogico: Il documento presenta un workflow integrato in classe che combina traduzione umana, confronto tra più sistemi (LLM e NMT), valutazione automatica e umana, e decisioni consequenziali di post-editing. Questo design costringe gli studenti a riconciliare diverse forme di evidenza piuttosto che trattare l'output dell'IA come un prodotto finito.
2. Evidenza Empirica del Ragionamento: Lo studio fornisce prove qualitative di come gli studenti giustifichino la selezione del sistema. Dimostra che gli studenti possono essere addestrati a scavalcare le metriche automatiche in favore dell'adeguatezza specifica del dominio e dell'efficienza del post-editing.
3. Operazionalizzazione del Giudizio Evolutivo: Il documento sostiene la necessità di trattare il giudizio evolutivo non come un concetto astratto, ma come una componente pratica dell'alfabetizzazione all'IA, dove gli studenti imparano a calibrare l'affidamento sugli strumenti di IA in base al tipo di testo, al dominio e ai requisiti di qualità.

Significatività e Rivendicazioni
Il documento rivendica modestamente che il suo contributo primario è pedagogico piuttosto che di benchmarking tecnico. Non afferma che gli LLM o i sistemi NMT siano categoricamente superiori; piuttosto, mostra che le preferenze degli studenti dipendono dal testo e sono giustificate da criteri specifici (terminologia, naturalezza, sforzo).

La significatività risiede nel dimostrare che compiti di confronto strutturato possono promuovere efficacemente un giudizio critico, riflessivo e professionalmente rilevante nell'educazione dei traduttori. Richiedendo agli studenti di lasciare una "traccia del loro ragionamento" attraverso l'interpretazione delle metriche, l'annotazione degli errori e i rapporti di giustificazione, l'assignment posiziona gli studenti come arbitri attivi della qualità. Ciò supporta l'obiettivo educativo più ampio di trasformare gli studenti da utenti passivi di strumenti a comparatori critici capaci di prendere decisioni responsabili su quando e come intervenire nella traduzione mediata dall'IA. Lo studio conclude che tali compiti sono essenziali per sviluppare l' "agency umana" necessaria per navigare i rischi e le potenzialità della GenAI nei flussi di lavoro della traduzione professionale.