💻 ciencias de la computación

ZIRF: Zero-Initialized Residual Fusion for Small Object Detection

Este artículo propone la Fusión Residual de Inicialización Cero (ZIRF, por sus siglas en inglés), un módulo ligero de entrecapas que integra directamente características multiescala en las salidas de detección mediante residuos de inicialización cero y mecanismos de compuerta para mitigar la dilución semántica en la detección de objetos pequeños, mejorando así la precisión media promedio en conjuntos de datos como SODA-D y VisDrone sin alterar la salida inicial del modelo base.

Autores originales: Seon-Min Kim, Seung-Hwi Choi, Sung-Wook Park, Chun-Bo Sim, Se-Hoon Jung

Publicado 2026-10-22

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seon-Min Kim, Seung-Hwi Choi, Sung-Wook Park, Chun-Bo Sim, Se-Hoon Jung

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la visión artificial, donde las máquinas aprenden a ver el mundo a través de cámaras, existe una lucha persistente con lo muy pequeño. Cuando un dron vuela alto sobre una ciudad o un coche circula por una autopista, los objetos que necesita reconocer —peatones, señales de tráfico u otros vehículos— aparecen a menudo como diminutos cúmulos de píxeles en la imagen digital. Para un ordenador, identificar estos objetos pequeños es difícil no porque no pueda distinguir que existen, sino porque le cuesta dibujar la caja precisa alrededor de ellos. Si la caja se desvía aunque sea ligeramente, el ordenador pierde el objetivo por completo. Para resolver esto, los ingenieros han construido sistemas complejos que procesan imágenes a diferentes niveles de detalle, de forma muy parecida a un humano que observa una escena desde lejos y luego hace zoom. Estos sistemas combinan una comprensión amplia de alto nivel con detalles finos de alta resolución. Sin embargo, un fallo específico en la forma en que estos sistemas pasan la información de la vista amplia a la vista fina ha obstaculizado durante mucho tiempo su capacidad para detectar las cosas más pequeñas.

Un equipo de investigadores de Corea del Sur ha desarrollado un nuevo método para solucionar este cuello de botella de información sin tener que reformar todo el sistema. Llaman a su solución Fusión Residual de Inicialización Cero, o ZIRF (Zero-Initialized Residual Fusion). La idea central es simple pero efectiva: en lugar de obligar a la información a viajar a través de un camino largo y sinuoso donde se diluye y se mezcla con otros datos, el nuevo método crea un puente directo y corto que permite que el contexto de alto nivel llegue a los detalles finos de forma instantánea. Crucialmente, este puente se construye de tal manera que no hace absolutamente nada cuando el sistema se enciende por primera vez. Comienza como un canal vacío, permitiendo que el ordenador aprenda exactamente cuánta de esta nueva información necesita realmente antes de empezar a utilizarla. Este enfoque asegura que el sistema se mantenga estable y fiable mientras gana la capacidad de ver los objetos más pequeños con mayor claridad.

El problema que abordaron los investigadores surge de cómo se construyen los detectores de objetos modernos. Estos detectores suelen utilizar una "columna vertebral" (backbone) para extraer características de una imagen, creando una pirámide de información donde las capas inferiores contienen detalles finos y las capas superiores contienen un significado semántico amplio. Para realizar una detección, el sistema necesita combinar estas capas. Los métodos tradicionales pasan la información desde la parte superior de la pirámide hacia la base, capa por capa. Imagine un mensaje siendo pasado a lo largo de una fila de personas; para cuando llega al final, los detalles a menudo se han perdido o se han confundido por el camino. En el contexto de la detección de objetos pequeños, esto significa que la comprensión de alto nivel sobre qué es un objeto se debilita antes de llegar a las capas de alta resolución donde los objetos diminutos son realmente identificados. Los investigadores descubrieron que este paso secuencial de la información es la razón principal por la cual los objetos pequeños se pasan por alto o se localizan incorrectamente.

Para abordar esto, el equipo introdujo un módulo que se sitúa en la salida del sistema de detección. En lugar de reemplazar la estructura existente, lo que requeriría reentrenar todo el sistema desde cero, añadieron un nuevo camino que corre junto al antiguo. Este nuevo camino toma las características de todos los demás niveles de la pirámide y las fusiona directamente en la salida objetivo. Actúa como una línea directa de comunicación, evitando los pasos intermedios donde la información suele perderse. Sin embargo, el simple hecho de añadir este camino podría abrumar al sistema con demasiados datos nuevos, confundiendo al modelo durante el entrenamiento. Para evitarlo, los investigadores utilizaron una técnica llamada inicialización por cero. Cuando el sistema se configura por primera vez, el nuevo camino está efectivamente apagado. El modelo produce exactamente los mismos resultados que producía antes de que se añadiera la nueva parte. A medida que el modelo entrena y aprende, descubre gradualmente cuánta de esta nueva información directa es útil y ajusta la fuerza de la conexión en consecuencia. Esto permite que el sistema incorpore la nueva capacidad solo en la medida en que sea necesaria, asegurando un proceso de aprendizaje suave y estable.

Los investigadores probaron su método en dos conjuntos de datos principales utilizados para la detección de objetos pequeños: uno con imágenes de escenarios de conducción y otro con imágenes de drones. Compararon su nuevo sistema con un modelo estándar de alto rendimiento. Los resultados mostraron una mejora clara en la capacidad de detectar y localizar objetos pequeños. En el conjunto de datos de conducción, el nuevo método mejoró la precisión general por un margen mensurable, con una parte significativa de esa ganancia proveniente directamente del nuevo módulo de fusión. Quizás más revelador fue la prueba en las imágenes de drones. Los investigadores organizaron las imágenes de dos maneras: una donde las imágenes originales grandes se encogieron para ajustarse a la entrada del ordenador, haciendo que los objetos parecieran muy pequeños, y otra donde las imágenes se dividieron en teselas más pequeñas, manteniendo los objetos más grandes en relación con la entrada. Encontraron que el nuevo método proporcionaba un aumento de rendimiento mucho mayor cuando los objetos eran más grandes en la entrada. Esto confirmó que la técnica es particularmente efectiva cuando los objetos conservan suficiente detalle para ser vistos, lo que sugiere que la fusión directa ayuda al sistema a hacer un mejor uso de la información visual disponible.

Al compararlo con otros métodos existentes que intentan mezclar la información de las diferentes capas, el nuevo enfoque destacó por su eficiencia. Otros métodos a menudo requieren reemplazar toda la estructura de fusión del modelo, lo que añade un pesado coste computacional y requiere un reentrenamiento significativo. El nuevo método, por el contrario, añade solo una pequeña cantidad de potencia de procesamiento de datos adicional mientras logra un nivel de mejora de precisión similar. Consiguió una parte sustancial de la mejor ganancia de rendimiento posible con una fracción del coste adicional. Los investigadores también analizaron cómo el sistema aprendió a usar este nuevo camino. Descubrieron que el sistema aprendió a activar la conexión directa fuertemente para las capas responsables de detectar los objetos más pequeños, dejando las conexiones para los objetos más grandes mayormente inactivas. Esta activación selectiva demuestra que el sistema aprendió a usar la nueva herramienta exactamente donde era necesaria, validando la elección de diseño de partir de un estado de inicialización por cero.

El estudio concluye que este método ofrece una forma práctica de mejorar los sistemas de detección de objetos existentes sin necesidad de un rediseño completo. Al permitir que la información de alto nivel llegue directamente a los detalles finos y dejar que el sistema decida cuánto usarla, los investigadores han proporcionado una solución ligera para un problema de larga data. Aunque el método no reduce el tiempo que toma procesar una imagen, mejora significativamente la precisión de la localización de objetos pequeños con muy poco coste adicional. Los hallazgos sugieren que para aplicaciones como la vigilancia con drones o la conducción autónoma, donde detectar objetos pequeños y distantes es crítico, esta simple adición a la arquitectura existente puede marcar una diferencia significativa en el rendimiento. El trabajo destaca que, a veces, la mejor manera de mejorar un sistema complejo no es reconstruirlo, sino añadir un puente cuidadosamente calibrado que permita que la información correcta fluya a través de él en el momento adecuado.

Resumen Técnico: ZIRF para la Detección de Objetos Pequeños

Planteamiento del Problema

La detección de objetos pequeños en imágenes de drones y de carreteras enfrenta un cuello de botella crítico: aunque reconocer la existencia de un objeto suele ser factible, regredir con precisión las coordenadas de su límite es difícil. Esta dificultad surge porque los objetos pequeños ocupan pocos píxeles, e incluso errores menores de localización provocan una caída brusca en la Intersección sobre Unión (IoU), ampliando la brecha entre mAP@0.5 y mAP@0.5:0.95.

Las arquitecturas actuales, como las que utilizan Redes de Pirámide de Características (FPN) o Redes de Agregación de Caminos (PAN), dependen de la fusión secuencial entre escalas adyacentes. En estas topologías, la información semántica de alto nivel de las capas de baja resolución (por ejemplo, P5) debe pasar a través de capas intermedias (P4, P3) para llegar a las salidas de alta resolución (por ejemplo, P2) donde se detectan los objetos pequeños. En esta propagación secuencial, la información semántica original se diluye mediante el reescalado (upsampling), la convolución y la mezcla repetida con niveles vecinos. En consecuencia, para cuando la semántica de alto nivel llega a la salida P2, se ha debilitado significativamente, lo que dificulta la localización precisa.

Las soluciones existentes que intentan conectar directamente niveles no adyacentes (por ejemplo, ASFF, GFF, Gold-YOLO) suelen requerir la sustitución completa de la arquitectura del cuello (neck). Esto requiere reentrenar el modelo desde cero y activa la fusión entre capas inmediatamente, lo que puede mezclar información no verificada en las características durante las primeras etapas del entrenamiento.

Metodología: Fusión Residual de Inicialización Cero (ZIRF)

Los autores proponen ZIRF, un módulo de fusión entre capas ligero diseñado para aumentar los cuellos de detección existentes sin reemplazarlos. ZIRF se basa en un principio de residual de inicialización cero.

Integración de la Arquitectura

Línea Base (Baseline): El estudio utiliza un backbone YOLOv11s combinado con un cuello RepGFPN y una cabeza de detección P2 de estiramiento (stride) 4 (denominada P2RG).
Inserción: ZIRF se inserta como una ruta residual en la salida de cada uno de los cuatro niveles de detección ( $P_2, P_3, P_4, P_5$ ). No altera la topología interna del cuello RepGFPN.
Mecanismo: Para un nivel de salida objetivo $l$ $l$ , ZIRF fusiona directamente las características de los tres niveles restantes ( $k \neq l$ $k \neq = l$ ) en una sola transformación, evitando la propagación secuencial del cuello.
1. Proyección: Las características de origen $F_k$ se proyectan al ancho de canales del objetivo mediante una convolución de $1\times1$ e interpolación bilineal a la resolución objetivo.
2. Ponderación: Se calcula un peso por fuente $\omega_{l,k}$ utilizando ReLU y normalización para determinar la contribución de cada nivel de origen.
3. Puerta (Gating): Se calcula una puerta de contenido $G_l$ a partir de la característica objetivo $F_l$ (no de las fuentes) mediante una convolución de $3\times3$ y una activación sigmoid. Esta puerta modula la entrada de información posición por posición basándose en el contenido del objetivo.
4. Adición Residual: Los elementos ponderados y con puerta se suman, se normalizan por lote (batch-normalization) y se escalan mediante un escalar residual $\gamma_l$ . Este resultado se suma a la salida original $F_l$ .

Inicialización Cero

La innovación central es la inicialización del escalar residual $\gamma_l$ en cero.

Estado Inicial: Al inicio del entrenamiento ( $\gamma_l = 0$ ), la salida mejorada $\tilde{F}_l$ es matemáticamente idéntica a la salida de la línea base $F_l$ . El modelo se comporta exactamente como la P2RG de la línea base, preservando los pesos aprendidos del cuello existente.
Dinámica de Entrenamiento: A medida que el entrenamiento avanza, los gradientes actualizan $\gamma_l$ alejándolo de cero. El modelo incorpora gradualmente la información entre capas solo en la medida en que es beneficiosa, evitando la interrupción del entrenamiento temprano por rutas de fusión no verificadas.

Contribuciones Clave

Análisis Estructural: El artículo identifica la propagación secuencial de la semántica de alto nivel en los cuellos tipo PAN como un cuello de botella estructural para la localización de objetos pequeños, donde la información se diluye antes de llegar a la salida de alta resolución P2.
Módulo ZIRF: La propuesta de un módulo ligero que fusiona directamente las características de la pirámide no adyacentes sin reemplazar el cuello existente. Utiliza un residual de inicialización cero para preservar la salida de la línea base inmediatamente tras la inserción.
Análisis Controlado: Mediante un experimento controlado en el conjunto de datos VisDrone utilizando entradas de imagen completa frente a teselas (tiles), los autores aíslan el efecto del tamaño del objeto en la resolución de entrada, demostrando que la ganancia de ZIRF está correlacionada con el tamaño del objeto más que con las características específicas del conjunto de datos.

Resultados Experimentales

El modelo propuesto fue evaluado en los conjuntos de datos SODA-D (detección de objetos pequeños en conducción) y VisDrone.

Rendimiento de SODA-D:
- Añadir ZIRF a la línea base P2RG mejoró el mAP@0.5:0.95 en un +0.66% (de 0.2756 a 0.2822).
- La mejora total desde YOLOv11s hasta el modelo final con ZIRF fue de +2.52% en mAP@0.5:0.95.
- ZIRF logró esta ganancia con solo 0.60M de parámetros adicionales y 5.3 GFLOPs, significativamente menos que otros módulos de fusión (por ejemplo, BiFPN, ASFF, GFF) que requieren entre 1.28M y 3.37M de parámetros adicionales.
- En una "comparación de ranura" (slot comparison) donde se trasplantaron los módulos de fusión existentes en la misma posición residual, ZIRF obtuvo el 72% de la mejor ganancia de precisión incurriendo solo en el 18–47% del coste de parámetros de los otros módulos.
Correlación con el Tamaño del Objeto:
- Los experimentos en VisDrone compararon entradas de "imagen completa" (reducidas, tamaño de objeto mediano 11.3 px) frente a entradas de "tesela/tile" (resolución preservada, tamaño de objeto mediano 23.0 px).
- La ganancia de ZIRF fue mayor en la forma de tesela (+0.36%) que en la forma de imagen completa (+0.25%), lo que indica que la efectividad del módulo está ligada al número de píxeles que ocupa un objeto en la entrada, más que al conjunto de datos en sí.
Parámetros Aprendidos:
- Los escalares residuales aprendidos ( $\gamma$ ) fueron más altos en P2 (0.67) y P3 (0.54), y cercanos a cero en P4 (0.02) y P5 (0.02). Esto confirma que el módulo activa selectivamente la fusión entre capas donde se decodifican los objetos pequeños.
- Se encontró que el mecanismo de puerta responde a características estructurales locales (por ejemplo, marcas viales, bordes) en lugar de específicamente a la presencia del objeto, suprimiendo fondos homogéneos.

Significado y Limitaciones

El artículo afirma que ZIRF ofrece un método para aumentar los cuellos de detección existentes con un bajo coste de parámetros, asegurando al mismo tiempo que la salida de la línea base permanezca inalterada en el momento de la inserción. Esto permite la incorporación gradual de la información necesaria entre capas sin la inestabilidad de reentrenar desde cero o la mezcla inmediata de características no verificadas.

Limitaciones reconocidas por los autores:

Latencia vs. FLOPs: Aunque ZIRF es eficiente en parámetros y FLOPs, esto no se traduce en una reducción proporcional de la latencia de inferencia debido a la sobrecarga de lanzamientos de kernels pequeños y patrones de acceso a memoria.
Alcance del Conjunto de Datos: La validación se limita actualmente a conjuntos de datos de imágenes de drones y de carretera (SODA-D y VisDrone).
Mecanismo de Puerta: No se ha establecido completamente el mecanismo específico por el cual la respuesta de la puerta a la estructura local mejora el rendimiento de la detección.

Se propone como trabajo futuro optimizar la eficiencia de la implementación del módulo, probar su aplicabilidad en conjuntos de datos de escenas generales como COCO y analizar más profundamente la relación entre las respuestas de la puerta y el rendimiento de la detección.