RS-OVC: Open-Vocabulary Counting for Remote-Sensing Data

1. El Problema

El conteo de objetos en imágenes de teledetección (RS) es fundamental para aplicaciones como la planificación urbana, el control de desastres, el seguimiento de vida silvestre y la vigilancia marítima. Sin embargo, los métodos existentes se centran casi exclusivamente en el conteo de conjunto cerrado (closed-set), lo que significa que los modelos solo pueden contar clases de objetos predefinidas durante el entrenamiento.

Esto presenta dos limitaciones críticas:

• Falta de generalización: No pueden contar objetos de clases nuevas que no se vieron durante el entrenamiento.
• Costo de adaptación: Adaptar estos modelos a nuevas clases requiere una anotación costosa de datos y un reentrenamiento completo del modelo, lo cual es inviable en escenarios dinámicos del mundo real.
• Escasez de datos diversos: Los conjuntos de datos actuales de RS para conteo suelen tener una diversidad de categorías limitada, lo que dificulta el entrenamiento de modelos de vocabulario abierto (OVC) que requieren gran variedad semántica.

2. Metodología: RS-OVC

Los autores proponen RS-OVC, el primer modelo de Conteo de Vocabulario Abierto (OVC) diseñado específicamente para imágenes de teledetección. El enfoque se basa en la simplicidad y la adaptación eficiente de modelos existentes, evitando arquitecturas completamente nuevas.

Componentes Clave:

• Base del Modelo (CountGD): El sistema se construye sobre CountGD, un modelo OVC de visión por computadora general que reformula el conteo como un problema de "grounding" (anclaje) basado en la arquitectura DINO. CountGD permite especificar objetos mediante prompts de texto, ejemplos visuales (bounding boxes) o ambos.
• Inyección de Características de RS (RS Feature Injection):
  • Se identificó que el ajuste fino (fine-tuning) directo de CountGD en datos de RS es subóptimo debido a la falta de diversidad en los datos de RS, lo que provoca colapso de modos y olvido catastrófico.
  • Solución: En lugar de reentrenar los codificadores, RS-OVC realiza una inyección ad-hoc de características. Utiliza un codificador DINOv3 preentrenado específicamente en datos de RS.
  • Fusión: Las características del codificador general (Swin Transformer, preentrenado en CV diverso) y las del codificador de RS (ViT) se fusionan mediante un mecanismo de atención cruzada (Cross-Attention). Las características de RS actúan como consultas (queries) sobre las características de CV (keys/values).
  • Optimización: Durante el entrenamiento, los codificadores de imagen y texto permanecen congelados. Solo se optimizan las capas de proyección, el potenciador de características y el decodificador. Esto preserva el conocimiento preentrenado y reduce la inestabilidad computacional.

Curación de Datos y Entrenamiento:

• Para superar la falta de diversidad, los autores combinaron múltiples conjuntos de datos de detección de RS (FAIR1M, DIOR, DOTA) y de conteo (NWPU-MOC).
• Se convirtieron las cajas delimitadoras en etiquetas de instancias basadas en puntos (centroides).
• Se diseñó un régimen de entrenamiento para conteo de pocos disparos (few-shot): cada instancia de entrenamiento contiene una sola clase de objeto, utilizando 3 anotaciones como ejemplos visuales y el resto para el conteo real.
• Las clases de prueba se seleccionaron para que nunca hubieran sido utilizadas como condicionamiento (texto o visual) durante el entrenamiento o validación.

3. Contribuciones Clave

1. Primera propuesta OVC para RS: Introducción del primer marco de trabajo capaz de contar objetos de clases no vistas en imágenes aéreas utilizando solo condicionamiento textual y/o visual.
2. Estrategia de Fusión de Características: Desarrollo de un método eficiente que fusiona el conocimiento semántico rico de modelos de visión general con la especialización de modelos de teledetección mediante atención cruzada, evitando el reentrenamiento completo de los codificadores.
3. Curación de un Entorno de Entrenamiento Unificado: Creación de un conjunto de datos masivo y diverso combinando múltiples benchmarks de RS para habilitar la generalización de vocabulario abierto.
4. Validación de Capacidades Semánticas: Demostración de que el modelo no solo cuenta, sino que entiende relaciones espaciales y contextuales (ej. "barcos atracados", "camiones rojos", "molinos cerca de carreteras").

4. Resultados

El modelo se evaluó frente a dos tipos de baselines:

• LAE (Locate-Anything-on-Earth): Un modelo de detección de vocabulario abierto (OVD) para RS.
• CountGD: El modelo original de visión general, aplicado directamente (zero-shot) y ajustado (fine-tuned) en datos de RS.

Hallazgos Cuantitativos:

• Rendimiento Superior en Escenas Densas: RS-OVC superó significativamente a todos los baselines en conjuntos de datos con alta densidad de objetos y baja resolución (ej. NWPU-MOC, DOTA, FAIR1M), logrando menores errores absolutos medios (MAE) y errores cuadráticos medios (RMSE).
• Desempeño en Escenas Espaciadas: En escenas con objetos grandes y dispersos (ej. DIOR), los modelos basados en detección (como LAE) tendieron a funcionar ligeramente mejor, lo cual es consistente con la literatura actual. Sin embargo, RS-OVC mantuvo un rendimiento competitivo y superó a las variantes de CountGD.
• Robustez: El modelo demostró una capacidad superior para contar objetos pequeños y densos donde los modelos de detección fallan debido a la superposición y la baja resolución.

Hallazgos Cualitativos:

• El modelo demostró comprensión semántica local (identificar un camión rojo específico entre muchos) y global (contar campos de béisbol que están frente a árboles).
• Mostró capacidad de razonamiento básico, como inferir que un barco está "atracado" basándose en su proximidad a un muelle, aunque la palabra "atracado" no aparezca visualmente en el barco.

5. Significado y Conclusión

RS-OVC representa un avance significativo al cerrar la brecha entre el conteo de objetos en teledetección y la flexibilidad del vocabulario abierto. Su enfoque de simplicidad y eficiencia (congelando codificadores y fusionando características) demuestra que es posible adaptar modelos de visión general avanzados a dominios especializados sin necesidad de arquitecturas complejas desde cero.

Aunque el modelo tiene limitaciones en escenas muy dispersas (donde la detección sigue siendo superior) y depende de un umbral estático para el conteo final, establece una nueva línea base para el monitoreo dinámico y adaptable de la Tierra, permitiendo el conteo de nuevas amenazas o recursos sin necesidad de costosos ciclos de anotación y reentrenamiento.