Resumo Técnico: RaysUp: Upsampling de Características Universal Ultra-leve via Representação de Raios Consciente de Geometria

1. Declaração do Problema

Modelos de Visão de Fundação (VFMs) pré-treinados, como as famílias DINO, CLIP e SigLIP, tornaram-se centrais para a visão computacional moderna devido às suas poderosas representações semânticas e capacidades de generalização. No entanto, esses modelos normalmente produzem mapas de características de baixa resolução devido à patcheificação ou operações de pooling agressivas. Essa limitação prejudica sua eficácia em tarefas de predição densa que exigem raciocínio de nível de pixel e detalhado, como segmentação semântica, estimativa de profundidade e reconstrução 3D.

As abordagens existentes de upsampling de características enfrentam trade-offs significativos:

• Interpolação Tradicional: Métodos como interpolação bilinear são computacionalmente eficientes, mas frequentemente degradam a fidelidade semântica, levando ao desfoque de bordas e perda de detalhes finos.
• Upsampling Aprendido: Métodos recentes agnósticos a tarefas (ex: LiFT, FeatUp, LoftUp, JAFAR) melhoram o desempenho, mas muitas vezes exigem retreinamento para VFMs específicos ou incorrem em um pesado overhead computacional durante a inferência.
• Abordagens Universais: Embora trabalhos recentes como o AnyUp tentem criar frameworks encoder-agnósticos, eles dependem de arquiteturas de rede pesadas, resultando em altas contagens de parâmetros e velocidades de inferência lentas, o que limita a escalabilidade e a eficiência.

2. Metodologia

Os autores propõem o RaysUp, um framework ultra-leve, agnóstico a tarefas e agnóstico a VFMs, que reconstrói mapas de características de alta resolução em resoluções arbitrárias ao elevar a reconstrução de características para um domínio de raios consciente de geometria. A arquitetura consiste em quatro componentes principais:

2.1 Codificador de Guia Espacialmente Desacoplado

Motivado pela observação de que os núcleos de convolução $3 \times 3$ padrão em upsamplers existentes exibem distribuições de peso anisotrópicas (favorecendo cantos em vez do centro), o RaysUp introduz um encoder leve que decompõe a extração de características em componentes direcionais ortogonais.

• Estrutura: O encoder divide a geração de características de guia em quatro ramos paralelos: uma convolução $1 \times 1$ (centro), $1 \times 3$ (horizontal), $3 \times 1$ (vertical) e uma convolução dilatada $2 \times 2$ (diagonal/cantos).
• Eficiência: Este design reduz o overhead de parâmetros em aproximadamente 69,4% em comparação com convoluções $3 \times 3$ padrão, enquanto aumenta a interpretabilidade direcional e o desmembramento estrutural.
• Saída: Ele gera características de guia sensíveis à direção ($F_g$) que capturam a semântica espacial multiescala de forma mais eficaz do que as diferenças de RGB bruto.

2.2 Mecanismo de Cross-Attention de Qualquer Resolução

Para suportar resoluções alvo arbitrárias sem retreinamento, o RaysUp emprega um mecanismo de cross-attention desacoplado de resolução.

• Queries ($Q_g$): Geradas na alta resolução alvo ($H_{any} \times W_{any}$) via adaptive average pooling das características de guia.
• Keys ($K_g$): Geradas na baixa resolução do backbone ($H_{lr} \times W_{lr}$) via adaptive average pooling.
• Values ($V$): Retirados diretamente das características de baixa resolução do VFM.
• Função: Isso permite que as queries de alta resolução agreguem informações de características de baixa resolução semanticamente alinhadas sem interpolação explícita, permitindo uma propagação cross-resolução flexível.

2.3 Codificação Posicional de Raio (RayPE)

Para superar as limitações de vizinhanças euclidianas 2D e injetar priors geométricos 3D, o RaysUp introduz o RayPE, inspirado em Campos de Radiação Neural (NeRF).

• Conceito: Em vez de depender da proximidade euclidiana 2D, cada pixel é associado a um raio de câmera 3D definido por sua origem ($o$) e direção normalizada ($d$).
• Codificação: Os parâmetros do raio são codificados usando coordenadas de Plücker 6D. Uma codificação de fase harmônica multibanda mapeia essas coordenadas em um espaço rotacional de alta dimensão.
• Modulação: Semelhante ao Rotary Positional Embedding (RoPE), o RayPE aplica modulação rotacional às features de query e key baseada na geometria do raio 3D. Isso garante que a agregação de características respeite a consistência angular e as estruturas 3D subjacentes, evitando interações entre raios geometricamente não relacionados.

2.4 Cross-Attention de Vizinhança Consciente de Geometria

O passo final de reconstrução utiliza um operador de agregação bilateral aprendível.

• Mecanismo: Em vez de atenção global, cada query de alta resolução agrega informações de uma vizinhança local $k \times k$ no espaço de características de baixa resolução.
• Dilatação: Para unir o gap de resolução, a vizinhança é definida com fatores de dilatação baseados na razão de upsampling.
• Benefício: Isso garante que a atenção seja realizada entre raios com orientações semelhantes, preservando a consistência geométrica enquanto reduz a complexidade computacional de global $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ para local $O(H_{any}W_{any} \cdot k^2)$.

3. Principais Contribuições

1. Framework RaysUp: Um framework ultra-leve (0.14M de parâmetros), agnóstico a tarefas e agnóstico a VFMs, capaz de realizar o upsampling de características de backbone para resoluções arbitrárias.
2. Codificador de Guia Espacialmente Desacoplado: Um design de encoder inovador que melhora a modelagem anisotrópica e reduz os parâmetros em ~69% em comparação com convoluções padrão.
3. Codificação Posicional de Raio (RayPE): Um método que injeta priors geométricos 3D implícitos via coordenadas de raio de Plücker 6D, estendendo o Joint Bilateral Upsampling (JBU) clássico para um processo de reconstrução consciente de geometria que mitiga o desvio estrutural e o desfoque de bordas.
4. Eficiência e Desempenho: O framework atinge o estado da arte em desempenho em diversas tarefas de predição densa utilizando apenas ~16% dos parâmetros do principal baseline (AnyUp) e entregando aproximadamente 7× mais velocidade de inferência.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos em diversos datasets (COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS) e vários VFMs (DINOv2, DINOv3, SigLIP2, PE Spatial).

• Desempenho Agnóstico a Tarefas: O RaysUp alcançou o melhor ou o segundo melhor desempenho em quase todas as métricas em segmentação semântica, estimativa de profundidade, estimativa de normais de superfície, segmentação de objetos em vídeo e segmentação de vocabulário aberto. Notavelmente, mostrou consistência geométrica superior em tarefas de profundidade e estimativa de normais.
• Generalização Agnóstica a VFM: Quando testado em VFMs não vistos (incluindo DINOv3 e SigLIP2) e diferentes escalas de modelo (ViT-S, ViT-M, ViT-L), o RaysUp superou consistentemente o AnyUp, demonstrando generalização robusta sem retreinamento.
• Eficiência:
  • Parâmetros: 0.14M (vs. 0.87M para o AnyUp).
  • Velocidade de Inferência: Na resolução 224×224, o RaysUp atinge 55 FPS comparado aos 11 FPS do AnyUp.
  • Escalabilidade: O RaysUp permanece executável em resoluções extremas (2K×2K) onde outros métodos (LoftUp, JAFAR, AnyUp) encontram erros de Out-Of-Memory (OOM) ou lentidão significativa.
• Estudos de Ablação: Experimentos confirmaram a necessidade do Codificador de Guia Espacialmente Desacoplado e do RayPE. A remoção do RayPE resultou em uma queda significativa de desempenho, validando a importância dos priors geométricos 3D.

5. Significância e Alegações

O artigo afirma que o RaysUp estabelece um novo padrão para o trade-off entre precisão-eficiência no upsampling universal de características. Ao revisitar o paradigma clássico de Joint Bilateral Upsampling e reformulá-lo com representações de raio conscientes de geometria, o RaysUp equilibra com sucesso alta fidelidade semântica, consistência geométrica e eficiência computacional.

Os autores posicionam o RaysUp como uma solução prática e escalável para pipelines modernos de visão computacional, permitindo o uso de VFMs congelados ou ajustados em tarefas downstream que requerem compreensão de alto nível de pixel e alta resolução, sem o fardo computacional de redes de upsampling pesadas. O trabalho destaca que integrar priors geométricos 3D (via representações de raio) no upsampling de características 2D é um passo crítico para melhorar a fidelidade estrutural e reduzir artefatos em tarefas de predição densa.