Resumo Técnico: DistilledGemma para Extração de Relações Pessoa-Lugar

Definição do Problema

O artigo aborda o desafio da Extração de Relação Pessoa-Lugar de artigos de jornais históricos multilíngues, especificamente no contexto da tarefa compartilhada HIPE-2026. O objetivo é classificar a relação entre entidades de pessoa e lugar extraídas em textos em inglês, alemão e francês. A tarefa envolve a previsão de duas relações específicas:

1. at: Se a pessoa já esteve associada ao lugar (rótulos: TRUE, PROBABLE, FALSE).
2. isAt: Se a pessoa está no lugar dentro do horizonte temporal imediato do artigo (rótulos: TRUE, FALSE).

A tarefa apresenta obstáculos significativos, incluindo:

• Texto OCR Ruidoso: Documentos históricos contêm erros frequentes de reconhecimento óptico de caracteres que degradam a qualidade da menção das entidades.
• Desequilíbrio de Classes: Os rótulos negativos dominam o conjunto de dados (aprox. 55% para at e 78% para isAt), enviesando os modelos para previsões falsas.
• Raciocínio Multilíngue: Os modelos devem performar consistentemente em três línguas tipologicamente diversas com disponibilidade de dados variada.
• Evidência Implícita: Muitas conexões são implícitas em vez de explícitas, exigindo conhecimento de mundo e inferência contextual.

Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa, implantar modelos com capacidade suficiente (ex: 26B+ parâmetros) para processar milhões de documentos históricos é computacionalmente impraticável. A questão central de pesquisa é se as capacidades de extração de relação de um LLM grande e ajustado podem ser destiladas em um modelo menor adequado para implantação prática sem perda catastrófica de desempenho.

Metodologia

Os autores propõem o DistilledGemma, um pipeline de destilação de conhecimento de três estágios projetado para equilibrar precisão de classificação com eficiência computacional.

Estágio 1: Seleção de Modelo e Engenharia de Prompt

Os autores avaliaram sistematicamente oito configurações de LLM em quatro famílias (Gemma, Qwen, Mistral, HY-MT) usando várias estratégias de engenharia de prompt.

• Design de Prompt: Cinco variantes de prompt foram testadas, sendo que um template de Cadeia de Pensamento (Chain-of-Thought - CoT) provou ser o mais eficaz. Este prompt enquadra o modelo como um historiador, define explicitamente as relações at e isAt, impõe restrições lógicas (ex: se isAt é TRUE, at deve ser TRUE) e exige saídas JSON concisas e fundamentadas em evidências.
• Seleção: O modelo Gemma 4 26B A4B foi selecionado como o "professor" devido ao seu superior recall médio macro zero-shot (0.7255) e seu alinhamento com a família alvo do estudante.

Estágio 2: Ajuste Fino do Professor e Geração de Dados Silver

O modelo professor selecionado foi ajustado usando QLoRA (Quantized Low-Rank Adaptation) nos dados de treinamento do HIPE.

• Configuração: LoRA rank $r=32$, $\alpha=64$, aplicado a todas as projeções de atenção e MLP. O treinamento rodou por 3 épocas com um tamanho de lote de 32 (via acumulação de gradiente).
• Geração de Dados: O professor ajustado gerou dados de treinamento de padrão prata (silver-standard) para todo o corpus. Crucialmente, essas saídas incluíram não apenas os rótulos previstos, mas também explicações de Cadeia de Pensamento (CoT), capturando o processo de raciocínio por trás de cada decisão.

Estágio 3: Destilação do Estudante

Um modelo compacto Gemma 4 E2B (aprox. 2.3B de parâmetros) serviu como o "estudante".

• Estratégia de Treinamento: O estudante foi treinado nos dados de padrão prata gerados pelo professor usando QLoRA ($r=16, \alpha=32$) por 6 épocas.
• Abordagem de Destilação: Esta foi uma destilação de nível de resposta, onde o estudante aprendeu a imitar os padrões de raciocínio estruturado e as saídas de rótulos do professor, em vez de treinar apenas com rótulos de ouro (gold labels).
• Implantação: Os adaptadores LoRA foram mesclados ao modelo base para inferência, resultando em um modelo de 2.3B de parâmetros implantável.

Pós-processamento

Para lidar com o desequilíbrio de classes e garantir a consistência semântica, um passo de pós-processamento baseado em regras foi aplicado a todas as saídas. Isso impôs:

1. Compatibilidade de tipo de entidade.
2. Restrições de direção da relação (pessoa-para-lugar).
3. Padrões de gatilho contextual.
4. Restrições lógicas (especificamente, isAt=TRUE implica at=TRUE).

Principais Resultados

O sistema, enviado pela equipe "WHEREAMI", alcançou os seguintes resultados na avaliação oficial do HIPE-2026:

• Perfil de Acurácia Padrão: Classificado em 3º com um score de perfil médio de 0.688.
• Perfil de Acurácia Binária: Classificado em 2º com um score de perfil médio de 0.8156.
• Perfil de Eficiência-Acurácia Balanceado: Classificado em 2º tanto nos conjuntos de teste padrão quanto nos binários.

Efetividade da Destilação:

• O modelo estudante de 2.3B recuperou aproximadamente 88% do desempenho de recall médio macro do professor de 26B.
• Isso foi alcançado com uma redução de 11x na contagem de parâmetros implantados.
• O estudante destilado superou vários modelos zero-shot maiores (ex: Qwen3.5 9B e Gemma 4 E4B) em recall médio macro, validando que a destilação pode preencher a lacuna de desempenho entre modelos pequenos e grandes.

Eficiência:

• O modelo estudante de 2.3B pode ser servido em uma única GPU de consumo (<8 GB VRAM), processando ~5 de 50 pares por segundo.
• Em contraste, o professor de 26B requer hardware de alta memória e foi usado apenas offline para geração de dados.

Significância e Alegações

O artigo afirma que o DistilledGemma fornece uma solução prática e escalável para o processamento de documentos históricos. Sua principal significância reside em demonstrar que:

1. A Destilação de Conhecimento é Viável para NLP Histórico: É possível transferir capacidades de raciocínio complexo de um LLM grande e ajustado para um modelo compacto sem degradação significativa de desempenho.
2. A Transferência de Raciocínio Importa: Treinar nos traços de Cadeia de Pensamento (CoT) do professor (destilação de nível de resposta) permite que o estudante aprenda padrões de inferência estruturados, o que é mais eficaz do que treinar apenas em rótulos, particularmente para tarefas que exigem avaliação de evidências matizada.
3. Troca Eficiência-Acurácia: A abordagem alcança um desempenho competitivo na extração de relações multilíngues sem os custos computacionais excessivos associados à implantação de modelos de 26B+ parâmetros, tornando-a adequada para pipelines de humanidades digitais em larga escala.

Os autores concluem que, embora os modelos grandes dominem em configurações zero-shot, um pipeline de destilação cuidadosamente projetado oferece um equilíbrio superior para cenários de implantação do mundo real onde os recursos computacionais são limitados.