Contrastive-to-Self-Supervised: A Two-Stage Framework for Script Similarity Learning

Este artigo propõe uma estrutura de duas etapas que combina aprendizado contrastivo supervisionado em alfabetos inventados com destilação de conhecimento para aprendizado auto-supervisionado em scripts históricos, permitindo a extração de representações de glifos que capturam tanto distinções claras quanto similaridades evolutivas latentes sem depender de relações de ground-truth.

O essencial

Imagine que você é um detetive tentando resolver um mistério antigo: como diferentes sistemas de escrita do mundo estão relacionados? Será que o alfabeto grego e o latino são "primos"? O chinês e o japonês têm uma "família" em comum?

O problema é que, ao contrário de alfabetos inventados (como os de filmes de ficção), onde sabemos exatamente quem é quem, na história real as coisas são confusas. Não temos um "livro de respostas" confiável que diga quem é parente de quem. Se tentarmos ensinar um computador a aprender essas relações usando regras rígidas, ele pode cometer erros graves, assumindo coisas que os historiadores nem mesmo concordam.

Este artigo propõe uma solução inteligente, como se fosse um sistema de aprendizado em duas etapas, usando uma metáfora de mestre e aprendiz.

A Metáfora: O Mestre Rigoroso e o Aprendiz Curioso

O método funciona como se estivéssemos treinando um jovem historiador (o "Aprendiz") para estudar escritas antigas.

Etapa 1: O Treinamento do Mestre (O "Mundo Falso")

Primeiro, criamos um Mestre (um modelo de computador) treinado em um ambiente seguro e perfeito: alfabetos inventados.

• A Analogia: Imagine que estamos ensinando o Mestre a distinguir letras de um alfabeto alienígena ou de um livro de fantasia. Aqui, sabemos com 100% de certeza que o "A" é diferente do "B". Não há dúvidas.
• O Resultado: O Mestre aprende a ser um especialista em diferenças. Ele fica muito bom em dizer: "Isso é um desenho, aquilo é outro desenho, eles são totalmente diferentes". Ele cria uma "régua" mental muito precisa para separar coisas que não têm nada a ver.

Etapa 2: O Aprendiz e a História Real (O "Mundo Verdadeiro")

Agora, trazemos o Aprendiz para estudar as escritas reais da história (grego, latim, chinês, etc.), onde as regras são confusas.

• O Problema: Se usássemos apenas o método tradicional, teríamos que dizer ao computador: "O grego e o latim são diferentes, o chinês é diferente de ambos". Mas e se o grego e o latim tiverem uma origem comum que não sabemos? O computador ficaria confuso.
• A Solução (Distilação): Em vez de ensinar o Aprendiz do zero, nós copiamos a experiência do Mestre para ele. O Aprendiz começa com a "mente" do Mestre.
• A Mágica: O Aprendiz olha para as escritas antigas e diz: "Ok, Mestre, eu sei que devo separar coisas muito diferentes. Mas, nessas escritas antigas, vou deixar que as semelhanças naturais apareçam sozinhas".
  • O Aprendiz é livre para descobrir que, talvez, duas escritas pareçam mais próximas do que o Mestre imaginava, porque elas compartilham traços históricos reais que o Mestre (treinado em ficção) não conhecia.
  • O Aprendiz não é forçado a criar "inimigos" (pares negativos) entre escritas que podem ser parentes. Ele apenas aprende a ser flexível, mantendo a disciplina do Mestre, mas adaptando-se à realidade.

O Resultado: Um Mapa Melhor

Ao final desse processo, o computador cria um mapa mental das escritas:

1. No nível das letras: Ele continua sendo ótimo em dizer "esta letra é igual àquela" (reconhecimento de caracteres), mesmo com poucas amostras.
2. No nível das escritas: O mapa fica mais inteligente. Escritas que realmente têm uma história em comum (como grego e latino) aparecem mais próximas no mapa do que escritas que não têm nada a ver (como chinês e latino).

Por que isso é importante?

É como se, em vez de forçar uma árvore genealógica que pode estar errada, nós deixássemos o computador "sentir" a semelhança entre as escritas, guiado por um especialista que sabe o que é "diferente", mas que deixa o computador descobrir o que é "parecido" na vida real.

Em resumo:

• Problema: Não sabemos com certeza a história de todas as escritas antigas.
• Solução: Treinamos um "Mestre" em coisas que sabemos (alfabetos inventados) para aprender a separar o que é diferente. Depois, usamos esse Mestre para guiar um "Aprendiz" a estudar as coisas reais, permitindo que ele descubra as conexões históricas sem ser forçado a fazer suposições erradas.
• Conclusão: O resultado é um sistema que entende tanto a letra quanto a história por trás dela, criando um mapa de conexões humanas muito mais preciso e fiel à realidade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Contrastive-to-Self-Supervised: A Two-Stage Framework for Script Similarity Learning", apresentado em português:

Título: Contrastive-to-Self-Supervised: Um Framework de Duas Etapas para Aprendizado de Similaridade de Sistemas de Escrita

1. O Problema: Supervisão Assimétrica e Incerteza Histórica

O artigo aborda um desafio fundamental no aprendizado de métricas de similaridade para glifos e sistemas de escrita antigos: a assimetria na supervisão.

• Nível de Glifo: É possível rotular com confiança instâncias individuais de um mesmo caractere (diferentes renderizações do mesmo glifo são positivas).
• Nível de Sistema de Escrita: As relações históricas entre diferentes sistemas de escrita (ex.: se o grego influenciou o cirílico) são frequentemente incertas, contestadas ou mal documentadas.
• O Dilema: Métodos de aprendizado contrastivo tradicionais tratam todas as classes distintas como pares negativos. Aplicar isso a sistemas de escrita históricos é arriscado, pois pode "incorporar" (bake-in) suposições linguísticas não verificáveis, forçando a separação de glifos que podem, na verdade, compartilhar uma origem comum ou influência histórica.

2. Metodologia: Framework de Duas Etapas

Os autores propõem uma abordagem híbrida que separa o que pode ser supervisionado do que deve permanecer exploratório.

• Etapa 1: Aprendizado Contrastivo Supervisionado (Teacher)

  • Objetivo: Estabelecer um prior discriminativo robusto.
  • Dados: Alfabetos inventados ou modernos (ex.: Futurama, Tengwar) onde as identidades dos caracteres são inequívocas e historicamente independentes.
  • Técnica: Treinamento de um codificador (Teacher) usando SupCon (Supervised Contrastive Loss).
  • Resultado: Um espaço de incorporação (embedding) com agrupamento intra-classe limpo e separação inter-classe clara, servindo como uma base geométrica estruturada.

• Etapa 2: Destilação Assimétrica Teacher-Student (Auto-supervisionado)

  • Objetivo: Adaptar o modelo para sistemas de escrita históricos sem impor pares negativos entre scripts.
  • Dados: Scripts históricos atestados (não rotulados quanto às relações evolutivas).
  • Técnica: Adaptação do framework BYOL (Bootstrap Your Own Latent).
    • O Student é inicializado com os pesos do Teacher da Etapa 1.
    • O Target Network é uma versão atualizada por Média Móvel Exponencial (EMA) do Student.
    • Diferenças chave do BYOL padrão:
      1. Inicialização semântica (não aleatória) a partir do Teacher.
      2. Remoção do MLP de projeção (o backbone já gera embeddings compactos).
      3. Uso de múltiplas instâncias manuscritas reais por classe, além de aumentação de dados.
  • Mecanismo: O Student aprende a prever as representações do Target (EMA) sob variações de dados, permitindo que as representações se reorganizem para capturar similaridades latentes entre scripts históricos, mantendo a estrutura geométrica do Teacher.

3. Contribuições Principais

1. Estratégia de Treinamento Híbrida: Decupla a supervisão confiável (identidade do caractere em alfabetos inventados) das relações de script incertas, evitando a criação de pares negativos artificiais entre scripts históricos.
2. Destilação Auto-inicializada: Um método de adaptação onde o modelo student herda a estrutura discriminativa do teacher, mas é livre para descobrir similaridades cruzadas não supervisionadas.
3. Protocolo de Avaliação Dual: Combina reconhecimento de glifos few-shot (20-way 1-shot) com métricas de ranking de nível de script (NDCG@10 e Correlação de Spearman), validado em conjuntos de dados Omniglot e um novo conjunto Unicode.

4. Resultados Experimentais

Os experimentos foram realizados em cinco arquiteturas de backbone (Simple CNN, Siamese CNN, ResNet-18/34/50) e comparados com baselines como BYOL, Barlow Twins, SupCon e DINOv2.

• Qualidade de Ranking de Script (Métrica Primária - NDCG@10):
  • A abordagem híbrida obteve consistentemente o melhor NDCG@10 na maioria das arquiteturas (especialmente ResNet-50), superando métodos puramente auto-supervisionados. Isso indica que a inicialização supervisionada ajuda a organizar o espaço de embeddings de forma mais alinhada com as relações históricas reais.
• Recuperação de Glifos (Métrica Secundária - Top-1/Top-5):
  • O método foi competitivo ou superior em backbones menores (Simple CNN) e ResNet-50.
  • Em backbones médios (ResNet-18/34), métodos puramente auto-supervisionados tiveram ligeira vantagem na precisão de glifos, mas o método híbrido manteve a coerência geométrica no nível de script.
• Análise de Separação (Separability Ratio):
  • A métrica de separabilidade mostrou que a Etapa 2 não apenas comprime o espaço, mas acentua seletivamente as proximidades historicamente fundamentadas. O modelo Student reduziu a razão de separação em 35% em comparação ao Teacher, agrupando scripts relacionados (ex.: Grego e Latim) mais próximos do que scripts não relacionados (ex.: CJK).
• DINOv2: O modelo de base geral (pre-treinado em imagens naturais) teve desempenho modesto, destacando a necessidade de treinamento adaptado ao domínio específico de escrita antiga.

5. Significado e Conclusão

O trabalho demonstra que é possível aprender representações significativas para sistemas de escrita antigos sem depender de "ground truth" evolutivo completo.

• Inovação Epistemológica: O framework reconhece e lida com a incerteza histórica, evitando forçar classificações binárias (similar/dissimilar) onde a evidência é ambígua.
• Aplicabilidade: O espaço de embeddings resultante pode ser usado para agrupar scripts, inferir influências históricas e servir como base para análises filogenéticas de sistemas de escrita em escala global.
• Generalização: O princípio de "aprender um prior discriminativo onde a supervisão é confiável e adaptar sem impor negativos especulativos" pode ser aplicado a outros domínios onde a identidade intra-classe é conhecida, mas as relações inter-classe são incertas.