Resumo Técnico: Além das Métricas Agregadas — Diagnosticando a Falha de Cauda Longa na Detecção e Reconhecimento de Caracteres de Ossos Oraculares

1. Declaração do Problema

O artigo aborda o desafio da detecção e reconhecimento automático de caracteres de ossos oraculares (OBI) em imagens de frota (rubbings), uma tarefa crítica para a pesquisa paleográfica assistida por IA. Enquanto trabalhos anteriores estabeleceram benchmarks para a localização de caracteres (encontrar onde um caractere está), o recente lançamento do Conjunto de Dados Multimodal de Inscrições de Ossos Oraculares (OBIMD) permite a primeira avaliação em larga escala de detecção e reconhecimento de imagem completa (identificar o glifo específico).

O problema central identificado é uma distribuição de classes de cauda longa extrema. O OBIMD contém mais de 1.700 categorias de glifos, mas os dados de treinamento são fortemente desbalanceados:

• Classes de Cabeça (Head classes): ~133 categorias com >100 instâncias.
• Classes de Poucos Disparos (Few-shot classes): ~1.022 categorias com apenas 1–5 instâncias.
• Classes Não Vistas (Unseen classes): 69 categorias com zero instâncias de treinamento.

Os autores argumentam que as métricas de avaliação agregadas padrão (ex: mAP global) ocultam falhas graves nessas classes raras. Um baseline direto de YOLO multi-classe alcança um AP50 global respeitável de 0,63, porém seu desempenho nas classes de poucos disparos colapsa para um AP50 de apenas 0,06. O artigo postula que o gargalo não é a localização (que é robusta), mas o acoplamento da localização com o reconhecimento de cauda longa dentro de um único cabeçalho de detecção.

2. Metodologia

Estrutura de Diagnóstico

Os autores propõem um protocolo de avaliação estratificado consciente da frequência que particiona o desempenho em grupos de Cabeça, Médio, Cauda Longa, Poucos Disparos e Não Vistos. Este protocolo revela que as métricas agregadas mascaram o "colapso de classes raras".

Solução Proposta: FAR-YOLO

Para abordar o problema de acoplamento, os autores introduzem o FAR-YOLO (Frequency-Aware Recognition YOLO), um baseline desacoplado mínimo projetado para separar o aprendizado de localização do reconhecimento:

1. Localização Agnóstica à Classe: Um detector YOLO11s é treinado exclusivamente para identificar regiões de "caractere de osso oracular" (foreground vs. background) sem prever classes de glifos específicas. Este ramo otimiza a cobertura de candidatos e é robusto ao desbalanceamento de classes.
2. Reconhecimento Consciente da Frequência: Para cada caixa delimitadora detectada, um recorte é extraído e passado para um reconhecedor ResNet18 separado. Este ramo é treinado com estratégias específicas para lidar com a cauda longa:
   • Rebalanceamento de Exposição: Classes raras (Cauda Longa e Poucos Disparos) são submetidas a up-sampling durante o treinamento usando pesos dependentes de grupo (ex: peso $\beta=8$ para classes de poucos disparos) para aumentar sua exposição de otimização sem alterar o detector.
   • Aumento de Dados Preservador de Morfologia: O aumento de dados é aplicado estritamente para preservar a topologia dos traços e a identidade semântica (evitando inversões agressivas ou distorções comuns em OCR geral), garantindo que os glifos raros permaneçam válidos.
3. Fusão com Portão de Confiança: A pontuação final é o produto da confiança de localização e da probabilidade de reconhecimento. O sistema emprega um mecanismo de rejeição: se a pontuação de confiança máxima cair abaixo de um limiar $\tau$, a previsão é rejeitada em vez de ser forçada em um rótulo de conjunto fechado, permitindo verificação por especialistas ou busca assistida por recuperação.

3. Principais Contribuições

1. Diagnóstico da Estrutura da Tarefa: O artigo demonstra que, para a detecção de ossos oraculares, a localização agnóstica à classe já é forte (AP50 $\approx$ 0,85), e o principal gargalo é o reconhecimento de cauda longa. Mostra que o reponderamento de frequência inversa ingênuo dentro de um cabeçalho de detecção padrão é contraproducente, degradando o desempenho global enquanto mal ajuda as classes raras.
2. Avaliação Consciente da Frequência: Os autores introduzem e lançam uma suíte de avaliação estratificada que decompõe o desempenho por grupos de frequência, expondo a falha das métricas agregadas em refletir as capacidades de classes raras.
3. Baseline FAR-YOLO: Uma arquitetura desacoplada que melhora o AP50 de poucos disparos em 10,5 pontos percentuais (de 0,06 para 0,17) e o AP50 balanceado por classe em 3,7 pontos, mantendo o AP50 global do detector direto.
4. Insight de Ranking de Candidatos: Através da análise dos top-5 candidatos, os autores mostram que, para glifos raros, a identidade correta está frequentemente presente nos cinco principais candidatos do modelo, mesmo quando a previsão top-1 está errada. Isso sugere que a falha é frequentemente de compromisso de rótulo único forçado, e não de representação visual.

4. Resultados

• Desempenho Agregado vs. Estratificado: O YOLO multi-classe direto alcança um AP50 global de 0,6347, mas falha em classes de poucos disparos (0,0611). Aplicar reponderamento de classe ao detector direto reduz o AP50 global para 0,5285 com ganho negligível para classes de poucos disparos (0,0770).
• Desempenho Desacoplado: O FAR-YOLO alcança um AP50 global de 0,6533 (ligeiramente melhor que o baseline direto) enquanto aumenta significativamente o AP50 de poucos disparos para 0,1660 e o AP-50 balanceado por classe para 0,3767.
• Estudos de Ablação:
  • Apenas Oversampling: Melhora as métricas de classes raras sem prejudicar o desempenho global.
  • Apenas Augmentation: Melhora o AP50 global, mas falha em melhorar o reconhecimento de poucos disparos.
  • Combinação: A sinergia de oversampling e aumento preservador de morfologia produz os melhores resultados.
• Análise Top-5: Relaxar a avaliação de correspondência Top-1 para Top-5 dobra o AP50 de poucos disparos da cascata de entropia cruzada (0,0790 para 0,1713), indicando que o modelo muitas vezes "conhece" o glifo correto, mas falha em colocá-lo em primeiro lugar no ranking.
• Eficiência: O FAR-YOLO é aproximadamente 28,5% mais lento que o detector direto (38,22 FPS vs. 49,12 FPS), mas permanece prático para processamento offline.

5. Significância e Alegações

O artigo afirma que o campo deve ir além da otimização de métricas agregadas e da "engenharia de detectores" para o reconhecimento de ossos oraculares. A principal significância reside em:

• Reenquadramento do Gargalo: Estabelecer que a dificuldade reside no reconhecimento de cauda longa de glifos raros, não em encontrar os caracteres em si.
• Reforma da Avaliação: Argumentar que pesquisas futuras devem adotar protocolos conscientes da frequência para evitar mascarar a falha dos modelos em caracteres historicamente significativos e raros.
• Mudança no Design de Sistemas: Propor que sistemas práticos devem abandonar a classificação forçada de conjunto fechado em favor de ranking de candidatos, reconhecimento assistido por recuperação e verificação humano-no-loop. Os autores enfatizam que, como glifos raros estão frequentemente presentes nos candidatos top-k, o objetivo deve ser facilitar a seleção por especialistas, em vez de forçar um rótulo automatizado único.

Os autores mantêm-se modestos, reconhecendo que, mesmo com desacoplamento e rebalanceamento, o desempenho de poucos disparos (0,17 AP50) ainda está longe de ser "utilizável" para interpretação totalmente automatizada, e o estudo é atualmente limitado à modalidade de frota (rubbing) do OBIMD.