From Intuition to Calibrated Judgment: A Rubric-Based Expert-Panel Study of Human Detection of LLM-Generated Korean Text

Título: Da Intuição ao Julgamento Calibrado: Um Estudo de Painel de Especialistas Baseado em Rubrica sobre a Detecção Humana de Textos Gerados por LLM em Coreano

1. O Problema

A distinção entre textos escritos por humanos e saídas fluídas de Modelos de Linguagem Grandes (LLMs) tornou-se um desafio crítico, mesmo para leitores treinados. O artigo identifica um fenômeno chamado "armadilha da fluência" (fluency trap): a polidez superficial, a gramática local correta e o estilo refinado dos LLMs podem obscurecer irregularidades estruturais sutis, levando especialistas linguísticos a superestimar a autoria humana.

• Contexto Específico: O estudo foca no idioma coreano, onde convenções de espaçamento, variação de registro e opcionalidade de pontuação tornam heurísticas baseadas apenas em fluência grosseira ainda menos confiáveis.
• Questão Central: A principal barreira para a atribuição humana é a falta de conhecimento linguístico ou a ausência de um procedimento diagnóstico explícito?

2. Metodologia

Os autores propõem o LREAD (um framework de calibração cognitiva baseado em rubricas) e realizam um estudo longitudinal cego de três fases com três anotadores linguísticos treinados (graduandos em Língua e Literatura Coreana).

• Fase 1: Linha de Base Intuitiva (Cego)

  • Os anotadores realizaram a atribuição (Humano vs. IA) sem rubrica ou critérios explícitos.
  • Objetivo: Medir a suscetibilidade à armadilha da fluência e coletar heurísticas iniciais.
  • Dados: 30 ensaios argumentativos (níveis fundamental, médio e médio superior), incluindo textos humanos e gerados por GPT-4o, Solar-10.7B, Qwen2-72B e Llama3.1-70B.

• Fase 2: Análise Ancorada em Critérios (Calibração)

  • Após a Fase 1, os anotadores receberam os rótulos de verdade (gold labels) e participaram da construção colaborativa da rubrica LREAD.
  • LREAD: Uma rubrica derivada dos padrões nacionais de escrita argumentativa da Coreia do Sul (2025), mas adaptada para micro-diagnósticos de atribuição. Foca em:
    • Conteúdo (40 pts): Clareza da tese, adequação de evidências, consideração de contra-argumentos, criatividade.
    • Organização (10 pts): Estrutura global e coesão.
    • Expressão (50 pts): Uso lexical, construção de frases, normas ortográficas, convenções de escrita e criatividade.
  • Os anotadores reavaliaram um novo conjunto de 30 ensaios usando a rubrica, fornecendo justificativas explícitas e pontuações multidimensionais.

• Fase 3: Aplicação Internalizada (Teste de Resistência)

  • Um subconjunto cego e retido (held-out) de 10 ensaios (focando no perfil de "estudante do ensino fundamental", considerado o desafio residual mais difícil).
  • Os anotadores aplicaram a rubrica internalizada sem feedback externo imediato, testando a capacidade de detectar artefatos de "mismatch de persona" (ex: vocabulário maduro em textos supostamente infantis).

• Baselines Comparativas:

  • Comparação com a votação majoritária dos próprios anotadores.
  • Comparação com modelos LLM de julgamento zero-shot (GPT-5.2, Gemini 3, Claude Sonnet) sob as mesmas instruções cegas.

3. Principais Contribuições

1. Protocolo de Calibração: Apresentação de um protocolo de três fases que trata a atribuição humana como uma habilidade aprendível sob controle estrito de informação, em vez de um traço fixo.
2. Framework LREAD: Introdução de uma rubrica específica para o coreano, fundamentada em padrões nacionais e adaptada para micro-diagnósticos de detecção, focando em variações linguísticas sutis que os LLMs tendem a "suavizar".
3. Evidência Piloto: Demonstração de que o scaffolding (andaime) de uma rubrica melhora significativamente a precisão e o acordo entre avaliadores humanos em ensaios argumentativos controlados.
4. Recursos Abertos: Disponibilização da rubrica completa, uma taxonomia de pistas calibrada e modelos de relatórios transparentes para avaliação auditável centrada no humano.

4. Resultados

• Ganhos de Precisão:

  • Fase 1 (Intuição): A precisão da votação majoritária foi de 60% (não significativamente acima do acaso). Os modelos LLM (zero-shot) atingiram ~96% de precisão.
  • Fase 2 (Rubrica): A precisão subiu para 90% em um conjunto de dados disjunto.
  • Fase 3 (Internalizada): Precisão de 100% (10/10) no subconjunto retido, embora com um intervalo de confiança de 95% amplo [0.692, 1.000] devido ao tamanho da amostra.

• Dinâmica de Erros:

  • A calibração reduziu drasticamente os Falsos Negativos (IA classificada como Humana), que caíram de 12 para 2.
  • Não houve aumento generalizado de Falsos Positivos (Humano classificado como IA), indicando que a correção foi direcionada à "armadilha da fluência" e não a um viés de super-detecção.

• Acordo entre Anotadores (Fleiss' κ):

  • Fase 1: κ = -0.09 (inconsistência sistemática).
  • Fase 2: κ = 0.24 (melhora moderada).
  • Fase 3: κ = 0.82 (acordo forte), indicando alinhamento de critérios.

• Análise de Causas:

  • A análise de erros mostrou que os anotadores intuitivos eram enganados pela "correção superficial" dos LLMs.
  • Com a rubrica, os anotadores passaram a focar em micro-padrões específicos do coreano: regularidade de espaçamento, hábitos de vírgula opcionais, estabilidade de registro e "traduções" (translationese) sutis, em vez de apenas fluência geral.
  • Os LLMs tendiam a pontuar mais alto em critérios formais de expressão, enquanto os textos humanos recebiam pontuações mais altas em criatividade, invertendo a intuição inicial.

5. Significado e Conclusão

O estudo demonstra que o julgamento humano, quando estruturado por uma rubrica calibrada e ancorada em critérios explícitos, pode superar sua suscetibilidade inicial à fluência artificial.

• Complementaridade: O LREAD não substitui os detectores automatizados, mas oferece um complemento auditável e explicável. Enquanto os detectores automatizados podem ser opacos e suscetíveis a mudanças no modelo, o julgamento humano calibrado torna o raciocínio de atribuição explícito, revisável e adaptável.
• Implicações para o Coreano: O trabalho valida que a detecção em idiomas não-ingleses (especificamente coreano) requer atenção a morfologia, ortografia e convenções de pontuação específicas, que são frequentemente negligenciadas por heurísticas gerais de fluência.
• Limitações: O estudo é limitado a três anotadores especialistas e a um gênero específico (ensaios argumentativos escolares). A generalização para não-especialistas ou outros gêneros (narrativa, conversacional) requer validação futura.

Em suma, o artigo propõe uma mudança de paradigma: a detecção de IA não deve depender apenas de algoritmos ou de "intuição" humana, mas de procedimentos diagnósticos estruturados que transformam a percepção difusa em uma prática de avaliação auditável.