From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier

1. Problema e Contexto

A rápida integração de Modelos de Linguagem Grandes (LLMs) nos fluxos de trabalho de redações jornalísticas levantou questões urgentes sobre a prevalência de conteúdo gerado ou reescrito por IA na mídia online. Embora existam estudos computacionais em larga escala para a mídia em inglês, há uma lacuna significativa na literatura turca. A pesquisa existente em Turquia limita-se a:

• Entrevistas qualitativas com jornalistas (percepções autorrelatadas).
• Detecção de "fake news" (notícias falsas), e não especificamente de conteúdo gerado por IA.
• Falta de métodos computacionais para quantificar a presença real de IA em notícias turcas.

Além disso, o turco é uma língua aglutinante com morfologia rica, o que impede a transferência direta de modelos desenvolvidos para línguas analíticas como o inglês. A falta de transparência e a confiança do público (apenas 12% se sentem confortáveis com notícias totalmente geradas por IA) tornam a detecção empírica crucial.

2. Metodologia

A. Construção do Dataset

• Fonte: Artigos coletados de três grandes veículos de mídia turcos representando diferentes orientações editoriais: um de centro, um pró-governo e um pró-oposição.
• Dados Humanos (Classe 0): 1.800 artigos aleatórios publicados em 2021. O ano foi escolhido estrategicamente para garantir que o conteúdo fosse escrito exclusivamente por humanos, antes da popularização massiva de ferramentas como o ChatGPT.
• Dados de IA (Classe 1): 1.800 artigos reescritos/revistos utilizando o ChatGPT (versão 5.2).
  • Prompt de Engenharia: Foi utilizado um prompt específico instruído a reescrever o texto mantendo o significado, fatos, datas e nomes intactos, mas adaptando o tom, estilo editorial e fluência para o veículo específico, sem alterar o comprimento do texto.
  • Validação: A similaridade cosenosa média entre o texto original e o reescrito foi de 0,9, garantindo que o modelo aprendesse a detectar nuances de estilo e não apenas mudanças superficiais.
• Total do Dataset de Treino: 3.600 artigos rotulados para classificação binária.

B. Arquitetura do Modelo

• Base: Utilização do modelo dbmdz/bert-base-turkish-cased, desenvolvido pelo Munich Digitization Center (MDZ).
  • Treinado em um corpus turco de ~35 GB (incluindo Wikipedia, OSCAR e OPUS).
  • Vocabulário específico de 32.000 tokens WordPiece, preservando a distinção entre letras pontilhadas e não pontilhadas (I/ı, İ/i), crucial para o turco.
• Fine-Tuning:
  • Adição de uma camada linear de classificação sobre o token [CLS].
  • Otimização: AdamW com learning rate de $2 \times 10^{-5}$, weight decay de 0,01 e warm-up linear.
  • Regularização: Dropout (0,2), Label Smoothing (0,1) e Early Stopping (patience de 2 épocas) para evitar overfitting.
  • Treinamento: Realizado em 6 épocas, com batch size efetivo de 16 e precisão mista (FP16).

C. Avaliação e Validação Externa

• Divisão dos Dados: 80% Treino, 10% Validação, 10% Teste (divisão estratificada).
• Métricas: Acurácia, Precisão, Revocação (Recall) e F1-Score.
• Validação Externa: O modelo treinado foi aplicado a 3.500+ artigos não vistos, coletados dos mesmos três veículos entre 2023 e 2026 (período pós-lançamento do ChatGPT), para estimar a prevalência real de uso de IA.

3. Principais Contribuições

1. Primeiro Dataset Rotulado: Criação do primeiro conjunto de dados rotulado para detecção de notícias reescritas por IA em língua turca (3.600 amostras).
2. Baseline de Deep Learning: Estabelecimento da primeira linha de base baseada em transformadores para esta tarefa específica, superando abordagens anteriores baseadas apenas em percepções.
3. Caracterização Computacional: Primeira análise empírica e quantitativa dos padrões de uso de IA na mídia turca ao longo de um período multi-anual (2023-2026).
4. Pipeline Reprodutível: Documentação completa do processo, desde a coleta de dados até o fine-tuning, servindo como recurso para pesquisas futuras em NLP turco e jornalismo computacional.

4. Resultados

Desempenho no Conjunto de Teste

O modelo alcançou um desempenho excepcional no conjunto de teste retido:

• F1-Score: 97,08% (simétrico entre as classes).
• Precisão: 99,38%.
• Revocação (Recall): 98,78%.
• Acurácia: 97,92%.
  O modelo demonstrou não ter viés sistemático para nenhuma das classes, mantendo precisão e revocação equilibradas.

Análise de Validação Externa (Prevalência Real)

Ao aplicar o modelo a mais de 3.500 artigos de 2023 a 2026:

• Estimativa de Uso de IA: Aproximadamente 2,5% das notícias analisadas foram reescritas ou revisadas por LLMs.
• Confiança do Modelo: A média de confiança das previsões foi superior a 96%, indicando que o modelo estava seguro em suas classificações.
• Padrões Temporais e Editoriais:
  • O uso foi mais alto em 2023 (ano seguinte ao lançamento do ChatGPT) e diminuiu até 2026, com um leve aumento em janeiro de 2026.
  • Não houve tendência temporal clara significativa dentro de cada fonte.
  • O veículo pró-oposição apresentou a maior proporção de texto humano (menos uso de IA), enquanto o pró-governo apresentou a menor, com o veículo de centro no meio.
  • A distribuição de classificações foi consistente entre as fontes, sugerindo que o uso de IA é uma prática transversal na indústria, independentemente da orientação política.

5. Significância e Conclusão

Este estudo representa uma mudança de paradigma na pesquisa de mídia turca, passando de percepções subjetivas para evidências empíricas e baseadas em dados.

• Implicações Técnicas: Demonstra que modelos BERT específicos para línguas aglutinantes podem ser eficazmente adaptados para detectar nuances de estilo geradas por IA, mesmo com limitações de contexto (512 tokens).
• Implicações Sociais: A detecção de que cerca de 2,5% do conteúdo já é alterado por IA, sem transparência, levanta questões sobre a confiança do público. O estudo defende a implementação de rótulos claros para qualquer conteúdo gerado ou revisado por IA para proteger a credibilidade do jornalismo.
• Limitações e Futuro: O estudo reconhece limitações, como o tamanho modesto do dataset de treino e a falta de ground truth nos dados externos. Trabalhos futuros devem focar em conjuntos de dados maiores, categorização por gênero (esportes, saúde, etc.) e arquiteturas de longo contexto (como Longformer) para lidar com artigos mais longos.

Em suma, o artigo fornece a base fundamental para o monitoramento computacional da integridade jornalística na Turquia e serve como modelo para outras línguas sub-representadas.