GerAV: Towards New Heights in German Authorship Verification using Fine-Tuned LLMs on a New Benchmark

Resumo Técnico: GerAV

1. O Problema

A Verificação de Autoria (AV) é a tarefa de determinar se dois textos foram escritos pelo mesmo autor. Embora amplamente estudada para dados em inglês, existem lacunas significativas na pesquisa para outros idiomas, especialmente o alemão. As principais limitações identificadas são:

• Escassez de Benchmarks: Falta de benchmarks de grande escala e avaliações sistemáticas para o idioma alemão.
• Dependência de Inglês: A maioria dos métodos existentes é avaliada principalmente em inglês, ignorando dependências estilísticas e linguísticas específicas de cada idioma.
• Subexploração de LLMs: O potencial de Grandes Modelos de Linguagem (LLMs) para tarefas de AV, especialmente em cenários zero-shot e fine-tuned, permanece pouco explorado em comparação com abordagens tradicionais baseadas em características (feature-based) e redes neurais clássicas.
• Aplicações de Alto Risco: A AV é crucial em investigações forenses (ex: Polícia Criminal Federal Alemã), onde a confiabilidade e a precisão são críticas, exigindo métodos robustos e reprodutíveis.

2. Metodologia

A. Criação do Benchmark GerAV
Os autores introduzem o GerAV, um benchmark abrangente para AV em alemão, composto por mais de 400.000 pares de textos rotulados. Os dados são derivados de duas plataformas de mídia social principais:

• Reddit: Coletado de subreddits alemães, dividido em três subconjuntos:
  • In-domain (rid): Pares de textos do mesmo domínio tópico.
  • Cross-domain (rcd): Pares de textos de domínios tópicos diferentes (desafio mais difícil).
  • Profile-based (rpb): Concatenação de todas as postagens de um usuário para simular cenários com mais dados disponíveis.
• Twitter: Coletado de atualizações mensais de 2019 a 2022.
• Mixed (mix): Uma combinação amostrada de todos os conjuntos acima para treinamento e avaliação geral.

O pré-processamento incluiu filtragem de bots, remoção de textos muito curtos (<25 palavras) e muito longos, e garantia de equilíbrio de classes (pares positivos e negativos).

B. Configuração Experimental
O estudo realizou uma avaliação sistemática comparando três categorias de modelos:

1. Baselines Estabelecidos e Recentes:
   • Métodos baseados em características (n-gram, ppm).
   • Modelos neurais (hLSTM, sBERT adaptado para alemão).
   • Modelos de incorporação de estilo multilingue (mStyleDistance, msr).
2. LLMs em Modo Zero-Shot:
   • Avaliação de modelos como Gemma-3, Llama-3, Qwen e GPT-5 (incluindo prompts com e sem raciocínio linguístico - LIP).
3. LLMs Ajustados (Fine-Tuned):
   • Uso de LoRA (Low-Rank Adaptation) para ajustar eficientemente quatro modelos de código aberto (Gemma-3-12b, Llama-3.1-8b, Llama-3.2-3b, Qwen-2.5-7b) nos dados de treinamento do GerAV.

C. Métricas de Avaliação

• F1-Score e Acurácia: Para classificação binária (mesmo autor vs. autores diferentes).
• ROC AUC: Para avaliar a capacidade de separação dos modelos com limiares arbitrários.
• Testes Estatísticos: Testes de bootstrap pareados para verificar a significância das diferenças de desempenho.

3. Principais Contribuições

1. Novo Benchmark GerAV: A introdução do maior conjunto de dados público para AV em alemão, permitindo a análise de efeitos de fonte de dados, domínio e comprimento do texto.
2. Avaliação Abrangente de LLMs: A comparação mais completa até a data, incluindo baselines tradicionais, modelos de incorporação de estilo e uma vasta gama de LLMs (zero-shot e ajustados).
3. Modelos de Estado da Arte (SOTA): Demonstração de que LLMs ajustados superam significativamente todas as baselines existentes para o idioma alemão.
4. Análise de Generalização vs. Especialização: Investigação detalhada sobre como modelos treinados em dados específicos (in-domain) versus dados mistos (cross-domain) se comportam em diferentes cenários.

4. Resultados Chave

• Desempenho Superior dos LLMs Ajustados:

  • O modelo Gemma-3-12b ajustado em uma mistura de todos os conjuntos de dados de treinamento alcançou o melhor desempenho geral, com um F1-Score médio de 0,83.
  • Isso representa uma melhoria de 0,09 pontos em relação à melhor baseline tradicional (0,74).
  • Em um subconjunto de teste, o modelo ajustado superou o GPT-5 (modelo proprietário de ponta) em 0,08 pontos de F1-Score, demonstrando que modelos de código aberto ajustados podem superar modelos fechados em tarefas específicas de domínio.

• Impacto do Tamanho e Tipo de Dados:

  • Generalização: Modelos treinados em dados mistos (mixed) mostraram a melhor capacidade de generalização, superando modelos treinados apenas em dados in-domain ou cross-domain em cenários variados.
  • Comprimento do Texto: O desempenho aumenta drasticamente com o comprimento do texto. Para textos curtos (25 palavras), o F1 é ~0,78, subindo para quase 1,0 em textos longos (900 palavras).
  • Dados de Treinamento: Reduzir o conjunto de treinamento para 1/4 do tamanho original resultou em uma queda mínima no F1 (apenas 0,04), indicando que o método LoRA é eficiente mesmo em cenários de recursos limitados.

• Desafios de Domínio Cruzado:

  • A avaliação cross-domain (temas diferentes) é mais difícil que in-domain, com uma queda média de 0,06 pontos no F1.
  • Modelos treinados especificamente em dados cross-domain tendem a ter desempenho pior em dados in-domain, sugerindo um trade-off entre especialização e generalização.

• Importância do Idioma Específico:

  • Um modelo treinado em dados de Twitter em inglês, quando aplicado ao conjunto de teste alemão, sofreu uma queda drástica de 0,12 pontos no F1, reforçando a necessidade de dados e modelos específicos para o idioma.

5. Significado e Conclusão

O trabalho GerAV estabelece um novo padrão para a pesquisa de Verificação de Autoria em idiomas não ingleses. Suas conclusões principais são:

1. Supremacia de LLMs Ajustados: Para tarefas forenses e de AV, o ajuste fino de LLMs (especialmente com LoRA) é superior a métodos tradicionais e a prompts zero-shot.
2. Robustez e Eficiência: Modelos ajustados são robustos a mudanças de domínio e mantêm alto desempenho mesmo com menos dados de treinamento, tornando-os viáveis para aplicações práticas.
3. Necessidade de Benchmarks Locais: A dependência de modelos treinados em inglês limita a eficácia em outros idiomas. Benchmarks específicos (como o GerAV) são essenciais para desenvolver sistemas forenses confiáveis.
4. Aplicabilidade Prática: A capacidade de modelos de código aberto superarem o GPT-5 em tarefas específicas, com controle total sobre os dados e reprodutibilidade, é crucial para aplicações sensíveis como investigações criminais.

O artigo também destaca limitações futuras, como a necessidade de maior interpretabilidade (explicabilidade das decisões do modelo) e a expansão para mais idiomas de baixo recurso.