CzechTopic: A Benchmark for Zero-Shot Topic Localization in Historical Czech Documents

Este artigo apresenta o "CzechTopic", um benchmark com documentos históricos tchecos anotados por humanos para avaliar a localização de tópicos, demonstrando que, embora os grandes modelos de linguagem variem significativamente em desempenho, modelos menores baseados em BERT e fine-tuned permanecem competitivos.

O essencial

Imagine que você tem uma pilha de diários antigos escritos em checo, datados de séculos atrás. Esses textos são cheios de histórias sobre minas, greves, casamentos e colheitas. Agora, imagine que você é um historiador e precisa encontrar, em meio a milhares de páginas, exatamente onde o autor fala sobre "greves de trabalhadores" ou "casamentos felizes".

O problema é que o autor não usa marcadores de texto. Ele mistura tudo. Às vezes, ele fala da greve em uma frase e da colheita na próxima, e às vezes ele volta a falar da greve três parágrafos depois.

É aqui que entra o CzechTopic, o tema deste artigo. Os autores criaram um "treino" (um benchmark) para ensinar computadores a fazerem essa tarefa de "caça ao tesouro" textual, chamada Localização de Tópicos.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Desafio: Encontrar a Agulha no Palheiro (mas a agulha é invisível)

A maioria dos computadores hoje é boa em dizer se um texto todo é sobre "futebol" ou "política". Mas esse trabalho pede algo muito mais difícil: dizer exatamente quais palavras do texto falam sobre o tema.

• Analogia: É como pedir a um robô para ler um romance e dizer: "Marque com um lápis vermelho apenas as frases onde o herói está triste". O robô não pode pintar a página toda de vermelho; ele precisa ser cirúrgico.

2. O "Campo de Treino": O Banco de Dados CzechTopic

Para treinar esses robôs, os autores precisaram de um manual de respostas feito por humanos.

• O que eles fizeram: Eles pegaram documentos históricos checos, pediram para humanos lerem e definirem temas (como "disputas trabalhistas"). Depois, pediram para esses mesmos humanos marcarem, palavra por palavra, onde esses temas apareciam no texto.
• O Segredo: Eles não confiaram em apenas uma pessoa. Eles usaram vários humanos. Se três pessoas marcam a mesma frase como "sobre greve", o computador aprende que ali é um ponto forte. Se uma marca e as outras não, o computador aprende que a fronteira é confusa (e isso é normal!).
• O Resultado: Um banco de dados com 525 textos e 363 temas, tudo anotado à mão.

3. A Grande Prova de Fogo: Humanos vs. Robôs

Os autores testaram dois tipos de "alunos" nesse banco de dados:

1. Os Gigantes (LLMs): Modelos de Inteligência Artificial modernos e gigantes (como o GPT-5, Llama, etc.). Eles são como estudantes que leram quase tudo na internet.
2. Os Especialistas (BERT): Modelos menores, mas treinados especificamente para essa tarefa de "marcar palavras". São como alunos que estudaram apenas para essa prova específica.

O que aconteceu?

• Os Gigantes: Alguns ficaram impressionantes, chegando perto do nível humano. Outros foram um desastre, marcando frases inteiras que não faziam sentido ou perdendo detalhes cruciais. A diferença entre o melhor e o pior foi enorme.
• Os Especialistas: Mesmo sendo menores e mais simples, os modelos especializados (BERT) competiram de igual para igual com os gigantes. Eles provaram que, para tarefas muito específicas, um "especialista focado" pode ser melhor que um "generalista superinteligente".

4. A Lição Principal: A Verdade é Subjetiva

Uma das descobertas mais interessantes foi sobre os próprios humanos.

• A Analogia: Imagine que você desenha um mapa do tesouro para seus amigos. Mesmo com instruções claras, um amigo pode achar que o "X" marca a árvore, e outro pode achar que marca a pedra ao lado.
• A Descoberta: Os autores perceberam que os humanos nem sempre concordam 100% entre si. Às vezes, eles concordam mais entre si do que com a pessoa que criou o tema original! Isso mostra que entender o que um texto significa é, às vezes, uma questão de interpretação, não apenas de regras rígidas.

5. Conclusão Simples

O papel nos diz que:

1. É difícil: Fazer um computador encontrar exatamente onde um tema começa e termina em um texto antigo é muito difícil, mesmo para as IAs mais modernas.
2. Precisamos de humanos: Não adianta apenas ter um "padrão ouro" (uma resposta certa). Precisamos medir o quanto os humanos concordam entre si, porque a "verdade" pode variar.
3. Especialização vence: Às vezes, um modelo menor e treinado especificamente para o trabalho funciona melhor do que um modelo gigante que tenta fazer tudo.

Em resumo: Os autores criaram um "olímpico" para testar a capacidade das IAs de lerem textos históricos checos e encontrarem temas específicos. Eles descobriram que, embora as IAs estejam ficando muito boas, ainda têm um longo caminho para andar até serem tão precisas e consistentes quanto um historiador humano.

Resumo técnico

Título: CzechTopic: Um Benchmark para Localização de Tópicos Zero-Shot em Documentos Históricos Tchecos

1. O Problema: Localização de Tópicos

O artigo aborda a tarefa de localização de tópicos, definida como a identificação de trechos exatos (spans) dentro de um texto que expressam um tópico específico, definido por um nome e uma descrição textual.

• Diferenciação: Diferente da classificação de documentos (que rotula o texto inteiro) ou da segmentação de tópicos (que divide o texto em blocos contíguos), a localização de tópicos permite:
  • Spans sobrepostos e não exclusivos.
  • Múltiplas menções desconexas do mesmo tópico no mesmo documento.
  • Decisões de fronteira em nível de palavra.
• Desafio: A tarefa é particularmente difícil devido à subjetividade nas fronteiras dos spans e à necessidade de compreensão semântica fina. Além disso, a avaliação tradicional (comparação contra uma única "verdade de ouro") é inadequada, pois anotadores humanos frequentemente discordam em tarefas com fronteiras fuzzy.

2. Metodologia e Dataset

Os autores introduzem o CzechTopic, um novo benchmark baseado em documentos históricos tchecos (livros e periódicos digitalizados).

• Preparação dos Dados:
  • Os textos foram extraídos de imagens escaneadas usando OCR (PERO-OCR).
  • Para aumentar a dificuldade, os textos foram agrupados em clusters semânticos usando embeddings densos (Gemma 2) e K-means, forçando os modelos a distinguir nuances temáticas dentro de grupos coesos.
• Anotação Humana (Fases):
  • Fase 1 (Definição): Anotadores propuseram tópicos para clusters de textos e localizaram os spans correspondentes.
  • Fase 2 (Acordo): Outros anotadores localizaram os mesmos tópicos pré-definidos nos textos, sem acesso às anotações anteriores, permitindo medir o acordo inter-anotador.
  • Estatísticas: 525 textos, 363 tópicos e 1.820 pares (texto, tópico) anotados.
• Dataset de Desenvolvimento (Distilação):
  • Para permitir o treinamento em escala, foi criado um dataset de desenvolvimento maior (15.550 textos, ~187k pares) usando o modelo gpt-5-mini para gerar anotações seguindo o mesmo protocolo de duas fases dos humanos.
• Modelos Avaliados:
  • LLMs (Zero-shot e Few-shot): Vários modelos grandes (GPT-5, Llama 3, Gemma, Gemini) testados com estratégias de tagging (marcadores no texto) e matching (geração do span).
  • Modelos BERT Fine-tuned: Modelos baseados em cross-encoder (inspirados no GLiNER) treinados no dataset distilado para codificar conjuntamente a descrição do tópico e o texto.

3. Protocolo de Avaliação

A avaliação foi realizada em dois níveis, comparando os modelos contra a média de acordo entre os anotadores humanos (em vez de uma única referência):

1. Nível de Texto: Detecção de presença do tópico (Precisão, Recall, F1).
2. Nível de Palavra: Localização exata dos spans (Precisão, Recall, F1, IoU - Intersection over Union).

• A linha de base humana foi calculada como a média de desempenho par a par entre todos os anotadores.

4. Resultados Principais

• Consistência Humana: Os anotadores humanos mostraram um alto nível de acordo (F1 de 68,7 no nível de palavra e 83,2 no nível de texto), estabelecendo uma linha de base robusta.
• Desempenho dos LLMs:
  • Houve uma variabilidade substancial entre os modelos. O melhor modelo (GPT-5-2) alcançou um F1 de 61,1 no nível de palavra, aproximando-se do desempenho humano, mas ainda ficando significativamente abaixo (p < 0,001).
  • Modelos menores ou menos capazes (ex: GPT-5-Nano, Llama 3-3B) falharam drasticamente na localização de spans (F1 < 30), embora alguns mantivessem boa detecção de presença do tópico.
  • A estratégia de matching (gerar o span) superou significativamente a estratégia de tagging (marcar tokens).
• Desempenho dos Modelos BERT:
  • Os modelos BERT fine-tuned no dataset distilado foram altamente competitivos, superando vários LLMs menores.
  • O modelo robeczech alcançou um F1 de 48,3 (nível de palavra), demonstrando que arquiteturas especializadas e treinadas para a tarefa podem superar modelos genéricos grandes, embora ainda fiquem abaixo da consistência humana.
• Abordagem de Prompt: O idioma do prompt (tcheco vs. inglês) não teve impacto estatisticamente significativo. O few-shot trouxe apenas uma melhoria marginal em comparação ao zero-shot.

5. Contribuições e Significância

1. Novo Benchmark: Introdução do primeiro dataset humano anotado para localização de tópicos em língua tcheca, focado em documentos históricos, com definições de tópicos abertas (não um conjunto fixo de rótulos).
2. Método de Avaliação: Proposição de uma métrica de avaliação baseada no acordo inter-anotador, reconhecendo que a "verdade de ouro" única é insuficiente para tarefas de localização semântica subjetiva.
3. Insights sobre LLMs: Evidência de que, embora os LLMs mais avançados compreendam bem a existência de um tópico, a localização precisa das fronteiras do texto (span localization) continua sendo um desafio significativo, com grande variabilidade de desempenho.
4. Viabilidade de Modelos Menores: Demonstração de que modelos BERT fine-tuned, treinados em dados distilados, podem ser alternativas eficientes e competitivas aos LLMs massivos para tarefas de localização estruturada.

Conclusão: O trabalho estabelece a localização de tópicos como uma tarefa distinta e desafiadora, fornecendo uma infraestrutura (dataset e framework de avaliação) para pesquisas futuras em compreensão de documentos históricos e análise semântica fina. O código e os dados estão disponíveis publicamente no GitHub.