Resumo Técnico: Reconstrução Amodal de Imagens de Fósseis de Folhas

Formulação do Problema

Folhas fósseis raramente são preservadas em sua totalidade; a rocha sedimentar frequentemente obscurece, fratura ou erode a lâmina. Embora a paleobotânica dependa da silhueta completa e dos padrões de venação das folhas para a identificação de espécies e reconstrução climática, os métodos padrão de segmentação semântica e de instância apenas rotulam as partes visíveis, deixando o tecido ausente sem recuperação.

Este trabalho aborda a reconstrução amodal para fósseis de folhas: prever a extensão espacial completa de uma folha e sua venação interna a partir de uma única imagem RGB onde partes estão ocultas pela rocha. A tarefa apresenta desafios únicos em comparação à segmentação amodal padrão (ex: carros ou pedestres):

1. Ausência de templates rígidos: Cada espécime fóssil possui uma forma orgânica única, impedindo que a rede dependa de uma silhueta canônica.
2. Escassez de dados: Imagens de fósseis reais com rótulos amodais e de venação ao nível de pixel não existem na escala necessária para treinar transformers de predição densa, o que exige um conjunto de dados de treinamento sintético e a superação de um gap de domínio.
3. Estruturas de baixo contraste: Veias finas são facilmente confundidas com rachaduras e veios minerais na matriz da rocha.
4. Sem entrada de máscara visível: Ao contrário de quase todos os métodos amodais anteriores que exigem uma máscara de ground-truth ou predita como entrada para "expandir" o objeto, este cenário assume que tal máscara não está disponível. A fronteira entre a folha e a rocha é frequentemente ambígua, e nenhum detector confiável existe para "folha inserida em rocha".

Metodologia: AmodalDINO

A solução proposta, AmodalDINO, é um modelo de predição densa de múltiplas cabeças e ponta a ponta que recebe uma imagem RGB (e uma dica opcional de região de interesse grosseira) e produz quatro máscaras simultaneamente:

1. Tecido foliar visível.
2. Folha amodal completa (incluindo partes ocultas).
3. Veia primária amodal.
4. Veias de detalhes finos.

Arquitetura e Escolhas de Design

O modelo é construído sobre um backbone DINOv3 ViT-L/16 e um decodificador DPT. Os autores identificam duas escolhas críticas de design que divergem dos protocolos padrão e permitem que o modelo aprenda os priors de forma estrutural das folhas:

1. Fine-Tuning Total do Backbone: Contrário à prática padrão de congelar o backbone DINOv3 pré-treinado e treinar apenas o decodificador, o AmodalDINO realiza o fine-tuning total do backbone com uma taxa de aprendizado pequena ($10^{-5}$). Os autores argumentam que um backbone congelado apenas extrapola um envelope genérico de baixa frequência. Descongelar as camadas permite que o modelo adapte as características à geometria específica do espécime, ajustando as margens à forma real enquanto preserva as capacidades de generalização.
2. Cabeças de Venação Auxiliares: O modelo anexa cabeças auxiliares para veias primárias e de detalhes ao lado das cabeças da folha. Os autores postulam que um padrão de venação coerente só pode ser desenhado sobre uma lâmina coerente. Ao supervisionar a nervura central e as veias, o tronco compartilhado é forçado a representar lobos e seios, fornecendo um prior estrutural que melhora a fidelidade da forma completada da folha. Isso também ajuda o modelo a distinguir veias verdadeiras de rachaduras na rocha.

Função de Perda (Loss Function)

O objetivo de treinamento emprega uma perda de múltiplas cabeças orientada para a completude:

• BCE ponderada por borda: Enfatiza gradientes em estruturas finas e margens.
• Termos de sobreposição específicos por cabeça: Utiliza Dice suave para veias visíveis/detalhadas e uma perda Tversky suave para as cabeças de completude (folha amodal/veias) para penalizar o crescimento excessivo na pedra mais do que pixels perdidos.
• Reponderação de Completude: A perda é ponderada para cima especificamente na região ocluída (onde a câmera não vê nada) para evitar que o modelo simplesmente reproduza a máscara visível.
• Restrições Estruturais Suaves: Garante que a máscara visível esteja contida dentro da folha amodal, e que ambos os mapas de veias estejam contidos dentro da folha.

Geração de Dados

Devido à falta de dados reais rotulados, os autores construíram um conjunto de dados sintético usando o Banco de Dados de Folhas Limpas NMNS. Eles selecionaram 160 folhas diversas e de alta qualidade, segmentaram-nas e traçaram sua venação. Usando o Blender, essas folhas foram compostas sobre modelos de pedra randomizados com variadas poses, iluminação e texturas. A quebra foi simulada via pós-processamento em OpenCV, resultando em 11.000 imagens de treinamento. O modelo é treinado exclusivamente nestes dados sintéticos.

Resultados

Validação Sintética

No conjunto de validação sintética retido, o AmodalDINO alcança:

• 95.0% Dice / 90.5% IoU para a folha amodal.
• 98.5% Dice para a folha visível.
• 65.4% Dice para a veia primária e 55.3% Dice para veias de detalhes.
  O gap entre o desempenho visível e o amodal (8.0 pontos de IoU) indica que o modelo está realizando uma verdadeira alucinação de tecido oculto, em vez de mera reconhecimento.

Transferência para Fósseis Reais

Apesar de ser treinado apenas em dados sintéticos, o modelo transfere efetivamente para espécimes fósseis reais. Resultados qualitativos mostram que o modelo estende corretamente a lâmina para dentro da rocha, recupera uma nervadura central coerente e distingue folhas lobadas de elipses simples.

Benchmarks Públicos (KINS e COCOA-cls)

Para validar a generalizabilidade da abordagem, os autores removeram o modelo para duas cabeças (folha visível e amodal) e removeram o canal de ROI, testando-o em benchmarks amodais padrão sem qualquer entrada de máscara visível:

• KINS: 85.05 mIoU total / 66.65 mIoU ocluído (maior mIoU ocluído relatado na tabela).
• COCOA-cls: 80.90 mIoU total / 38.15 mIoU ocluído.
  Os autores observam que, embora o modelo seja competitivo na região ocluída, ele fica atrás de métodos como o Amodal SAM no COCOA-cls, provavelmente devido à falta de um prior de forma específico de categoria em seu cenário de "livre de categoria".

Implementação e Quantização

O modelo foi implementado com sucesso de duas formas:

1. No Navegador: Quantizado para pesos de 4 bits (reduzindo o tamanho de ~1.27 GB para ~269 MB) e rodando inteiramente offline via ONNX Runtime Web. Ele mantém um IoU de 0.910 em relação à referência FP32 em fósseis reais.
2. Pipeline Local de GPU: Inclui calibração baseada em régua para estimativa de área de superfície e um estágio de visualização generativa opcional usando um modelo de difusão Flux.2 para renderizar folhas "vivas" baseadas nas máscaras reconstruídas.

Principais Contribuições

1. Formulação do Problema: Definiu a tarefa de reconstrução amodal conjunta de silhuetas de folhas e venação a partir de uma única imagem RGB sem entrada de máscara visível.
2. Arquitetura do Modelo (AmodalDINO): Um modelo de ponta a ponta que não requer segmentador de instância upstream ou máscara visível, prevendo regiões visíveis e amodais conjuntamente.
3. Insights de Design: Identificou que o fine-tuning total de um backbone auto-supervisionado (em vez de congelá-lo) e o uso de cabeças estruturais auxiliares (venação) são críticos para aprender priors de forma em cenários de escassez de dados e livres de categoria.
4. Receita Reproduzível: Forneceu um pipeline completo incluindo geração de dados sintéticos, um cronograma de aprendizado de duas taxas e pesos de perda específicos.
5. Implementação Prática: Demonstrou um sistema de inferência quantizado e baseado em navegador, com calibração baseada em régua e visualização generativa.

Significância e Limitações

O artigo afirma que o método proposto recupera com sucesso as partes "invisíveis" de fósseis de folhas, permitindo que paleobotânicos raciocinem sobre órgãos completos a partir de observações parciais. A significância reside em demonstrar que um modelo de fundação, quando adequadamente adaptado (backbone descongelado + supervisão estrutural), pode extrapolar formas orgânicas complexas sem templates rígidos ou máscaras visíveis.

Os autores reconhecem várias limitações:

• Suposição de Folha Única: O modelo assume implicitamente uma folha por imagem; ele funde múltiplos espécimes sobrepostos em uma única silhueta, embora ainda possa reconhecer nervuras centrais distintas.
• Gap de Domínio: O treinamento é inteiramente sintético e, embora a transferência seja boa, a venação fina sob oclusão pesada permanece pouco confiável.
• Resolução: A resolução fixa de 448x448 comprime a informação original.
• Visualização Generativa: A renderização de "folha viva" é atualmente para ilustração e pode alucinar detalhes.

Os autores concluem que as descobertas centrais — descongelar o backbone e usar tarefas estruturais auxiliares — podem ser aplicáveis a outros problemas relacionados ao amodal além da paleobotânica.