💻 computer science

A Comparative Study of Faster R-CNN, Mask R-CNN, and YOLOv8 for Object Detection and Instance Segmentation, with a Custom-Class Transfer-Learning Case Study

Este artículo proporciona un análisis comparativo teórico y cualitativo de Faster R-CNN, Mask R-CNN y YOLOv8 para la detección de objetos y la segmentación de instancias, demostrando a través de un estudio de caso personalizado de vehículos militares que los detectores de etapa única ligeros pueden adaptarse eficazmente a clases novedosas mediante el aprendizaje por transferencia, superando a los modelos de dos etapas entrenados únicamente con conjuntos de datos generales, todo ello en el contexto de las arquitecturas de detección en tiempo real en evolución.

Autores originales: Muhammad Usman Aslam

Publicado 2026-09-21✓ Author reviewed ⓘ

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Muhammad Usman Aslam

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la visión artificial, las máquinas están aprendiendo a ver el mundo no solo como una colección de colores y formas, sino como una escena llena de objetos distintos. Este campo, conocido como detección de objetos, es la tecnología que permite que un coche autónomo reconozca a un peatón, que una cámara de seguridad detecte a un intruso o que un escáner médico identifique un tumor. Para que una máquina haga esto, debe realizar dos tareas difíciles simultáneamente: debe encontrar dónde se ubica un objeto dentro de una imagen y debe decidir exactamente qué es ese objeto. Durante años, los investigadores han debatido la mejor manera de enseñar a una computadora a hacer esto. Algunos enfoques actúan como un inspector cuidadoso, escaneando una imagen de forma lenta y metódica para asegurar que cada detalle sea correcto, mientras que otros actúan como una mirada rápida, procesando la escena completa en una sola pasada para priorizar la velocidad. La pregunta central para los ingenieros es cómo equilibrar este compromiso entre ser perfectamente preciso y ser lo suficientemente rápido como para funcionar en tiempo real.

Un estudio reciente de Muhammad Usman Aslam, de la Universidad de West Florida, explora este equilibrio probando tres sistemas informáticos diferentes diseñados para ver el mundo. La investigación compara dos métodos establecidos que trabajan por etapas, uno de los cuales también puede dibujar contornos precisos alrededor de los objetos, frente a un método más nuevo y rápido que procesa las imágenes de una sola vez. El estudio hace más que simplemente comparar estos sistemas con imágenes de prueba estándar; aborda un problema práctico que las pruebas estándar suelen pasar por alto: ¿qué sucede cuando una máquina se encuentra con un objeto que nunca ha aprendido a reconocer? Para responder a esto, el investigador entrenó un sistema rápido y moderno para identificar vehículos blindados militares, una categoría de objetos que no existe en la biblioteca estándar de imágenes utilizada para entrenar la mayoría de los modelos de visión artificial.

La investigación comenzó examinando cómo están construidos estos tres sistemas, conocidos como Faster R-CNN, Mask R-CNN y YOLOv8. Los dos primeros sistemas operan como un proceso de dos pasos. Primero, escanean una imagen para encontrar regiones que podrían contener un objeto y, después, analizan esas regiones específicas para decidir qué es el objeto y dónde están sus bordes. Mask R-CNN añade un tercer paso, permitiéndole dibujar un contorno de píxel perfecto alrededor de cada objeto, separándolo del fondo y de otros objetos superpuestos. Estos métodos son conocidos por su alta precisión, pero requieren más potencia de cálculo y tiempo. El tercer sistema, YOLOv8, adopta un enfoque diferente. Observa la imagen completa en una sola pasada, prediciendo la ubicación y el tipo de cada objeto a la vez. Este diseño está construido para la velocidad, lo que lo hace ideal para aplicaciones en tiempo real como la vigilancia por vídeo, aunque históricamente se ha considerado ligeramente menos preciso en objetos muy pequeños o amontonados.

Para probar estos sistemas en el mundo real, el investigador utilizó un conjunto estándar de imágenes que contenían artículos comunes como personas, coches y animales para ver qué tan bien se desempeñaban los sistemas preentrenados. Cuando el sistema Faster R-CNN se le mostraron imágenes de escarabajos, los identificó correctamente, pero también produjo suposiciones adicionales de menor confianza para "insectos" en esos mismos lugares, mostrando que el sistema a veces tiene dificultades cuando diferentes categorías de objetos se superponen o se parecen mucho entre sí. Cuando se le mostró la imagen de un pájaro, el sistema vaciló entre llamarlo "pájaro", "animal" o un tipo específico de ave, revelando que su vocabulario es limitado a las 80 categorías específicas para las que fue enseñado originalmente. El sistema Mask R-CNN funcionó de manera impresionante en imágenes estándar, separando con éxito cebras y personas superpuestas en una multitud con contornos precisos, pero requirió significativamente más recursos informáticos para hacerlo.

La parte más significativa del estudio, sin embargo, fue el intento de enseñar a estos sistemas a ver algo que nunca habían visto: tanques. Los modelos de visión artificial estándar son sistemas de "vocabulario cerrado", lo que significa que solo pueden reconocer la lista específica de objetos para los que fueron entrenados. Cuando el investigador mostró a los modelos estándar Faster R-CNN y Mask R-CNN imágenes de vehículos blindados militares, las máquinas no lograron identificarlos como tanques. En su lugar, forzaron las imágenes hacia las categorías más cercanas que conocían, etiquetando los tanques como "camiones" o "coches". Esto no fue un fallo de la capacidad de la máquina para ver la forma del vehículo, sino una limitación de su vocabulario; simplemente no tenía la palabra "tanque" en su diccionario.

Para resolver esto, el investigador recurrió al sistema YOLOv8 y utilizó una técnica llamada aprendizaje por transferencia (transfer learning). En lugar de empezar desde cero, se le dio al sistema un pequeño conjunto de datos personalizado de solo veinte imágenes de tanques, que habían sido etiquetadas manualmente por un humano. Luego, el sistema fue ajustado (fine-tuned) con este pequeño conjunto de imágenes. El resultado fue sorprendente. El sistema YOLOv8, que había sido adaptado a esta nueva clase, identificó con éxito tanques en exhibiciones de museos y fotografías al aire libre con un alto nivel de confianza. Incluso reconoció un vehículo blindado en movimiento en un campo, a pesar del desenfoque y la distancia, demostando que un sistema ligero y rápido puede adaptarse rápidamente a un nuevo trabajo específico con muy pocos datos.

El estudio concluye que, si bien los sistemas antiguos de dos etapas siguen siendo excelentes para tareas de propósito general donde se necesita una alta precisión para objetos conocidos, son rígidos en lo que respecta a nuevas categorías. No pueden reconocer lo que no se les ha enseñado explícitamente. En contraste, el sistema YOLOv8 de una sola etapa demostó una flexibilidad que es altamente valiosa para aplicaciones prácticas. Demostró que, con una pequeña cantidad de esfuerzo humano para etiquetar algunas imágenes nuevas, un detector rápido puede extenderse para reconocer tipos de objetos completamente nuevos. Esto sugiere que, para muchos problemas del mundo real, donde el objetivo es detectar elementos específicos y personalizados en lugar de solo categorías generales, la velocidad y la adaptabilidad del nuevo enfoque de una sola etapa pueden ser más útiles que la precisión bruta de los métodos antiguos y más lentos. La investigación también señala que el campo avanza rápidamente, con la aparición de modelos más nuevos que pretenden combinar la velocidad de los sistemas de una sola etapa con la precisión de los antiguos, pero la lección central sigue siendo clara: la mejor herramienta depende de si necesitas una máquina que lo sepa todo sobre el mundo, o una que pueda aprender rápidamente a ver algo nuevo.

Resumen Técnico: Un Estudio Comparativo de Faster R-CNN, Mask R-CNN y YOLOv8

Planteamiento del Probleo
La detección de objetos y la segmentación de instancias son críticas para aplicaciones que van desde la conducción autónoma hasta la vigilancia de defensa. Sin embargo, existe una brecha significativa en la literatura respecto a una comparación teórica unificada de los tres paradigmas arquitectónicos dominantes: detectores de dos etapas (Faster R-CNN), detectores de dos etapas aumentados con máscaras (Mask R-CNN) y detectores de una sola etapa (YOLOv8). Además, los benchmarks estándar como Microsoft COCO utilizan un vocabulario fijo de 80 clases, lo que los hace incapaces de reconocer objetos específicos de un dominio ausentes en su conjunto de entrenamiento, como vehículos blindados militares. Este estudio aborda la necesidad de clarificar el linaje arquitectónico que conecta estos modelos y de evaluar su utilidad práctica al adaptarse a clases personalizadas y fuera de distribución mediante el aprendizaje por transferencia (transfer learning).

Metodología
El artículo emplea un enfoque de doble vertiente que combina la consolidación teórica y el estudio de caso aplicado:

Consolidación Teórica: El autor vuelve a derivar y contrasta los fundamentos matemáticos de las arquitecturas. Esto incluye el rastreo de la evolución desde R-CNN hacia Faster R-CNN a través de la Red de Propuesta de Regiones (RPN), la explicación del cambio de RoI Pooling a RoIAlign en Mask R-CNN para la generación precisa de máscaras, y el detalle del diseño sin anclajes (anchor-free) y de paso único de YOLOv8. Se analizan las funciones de pérdida clave, incluyendo Smooth-L1 para Faster R-CNN, la pérdida multitarea ( $L_{cls} + L_{box} + L_{mask}$ ) para Mask R-CNN, y la combinación de Complete IoU (CIoU) y Distribution Focal Loss (DFL) para YOLOv8.
Estudio de Caso Aplicado: Se creó un conjunto de datos personalizado de 20 imágenes anotadas manualmente de vehículos blindados militares ("tanques") utilizando CVAT.ai.
- Faster R-CNN y Mask R-CNN: Se evaluaron modelos preentrenados (backbones Inception-ResNet-v2 y ResNet-101, respectivamente) en una configuración zero-shot tanto en imágenes generales de COCO como en el conjunto de datos personalizado de tanques.
- YOLOv8: Se realizó un ajuste fino (fine-tuning) de un modelo YOLOv8s mediante aprendizaje por transferencia en el conjunto de datos personalizado de tanques.
Evaluación: El estudio se basa principalmente en el análisis visual cualitativo de los resultados de detección (cajas delimitadoras y máscaras) y los puntajes de confianza. Indica explícitamente que la evaluación cuantitativa completa (mAP, FPS, FLOPs) se propone como una extensión futura y no como un componente completado de este informe específico.

Contribuciones Clave

Teoría Arquitectónica Unificada: El artículo proporciona una notación y explicación consolidadas que conectan los mecanismos de propuesta, las estrategias de agrupación/alineación y las funciones de pérdida de R-CNN, Faster R-CNN, Mask R-CNN y YOLOv8, que a menudo se encuentran fragmentadas en los artículos originales.
Demostración de Aprendizaje por Transferencia para Clases Personalizadas: El estudio demuestra que un detector ligero de una sola etapa (YOLOv8) puede adaptarse eficazmente a una clase novedosa ("tanque") ausente en el espacio de etiquetas de COCO utilizando un corpus anotado pequeño.
Análisis de Limitación Zero-Shot: Ilustra empíricamente la limitación fundamental de los detectores de conjunto cerrado y vocabulario fijo (Faster R-CNN/Mask R-CNN) cuando se aplican a categorías no vistas, mostrando que etiquetan erróneamente los tanques como "camión" o "automóvil" en lugar de fallar en la detección por completo.
Posicionamiento en el Panorama: El artículo sitúa los modelos de la era 2023 (Faster R-CNN, Mask R-CNN, YOLOv8) dentro del panorama de detección 2024–2026, discutiendo la emergencia de detectores en tiempo real basados en transformadores (RT-DETR, RF-DETR) y nuevas variantes de YOLO (v9–v12).

Resultados

Faster R-CNN: Demostró un fuerte rendimiento en objetos canónicos y no ocluidos de COCO. Sin embargo, exhibió detecciones redundantes en clases taxonómicamente anidadas (por ejemplo, "escarabajo" frente a "insecto") debido a las limitaciones de la Supresión de No Máximos (NMS) por clase y la dispersión de la confianza en categorías subespecificadas. En el conjunto de datos de tanques personalizado, no logró reconocer la clase objetivo, etiquetando erróneamente los tanques como camiones o automóviles.
Mask R-CNN: Proporcionó con éxito una segmentación de instancias precisa (por ejemplo, separando cebras superpuestas) en datos de COCO mediante RoIAlign. Al igual que Faster R-CNN, falló en reconocer la clase personalizada de "tanque" en un entorno zero-shot.
YOLOv8 (Ajustado): El modelo YOLOv8s ajustado detectó y localizó tanques con alta confianza (0.99–1.00) en imágenes claras y una confianza razonable en instancias ocluidas o distantes. También demostró capacidades de inferencia en tiempo real en hardware de consumo para tareas generales.
Compromisos Comparativos: El estudio confirma el compromiso duradero entre la precisión de localización y la velocidad de inferencia. Los modelos de dos etapas ofrecen mayor precisión en clases conocidas pero sufren de mayor latencia e incapacidad para reconocer clases no vistas sin reentrenamiento. Los modelos de una sola etapa ofrecen inferencia rápida y un ajuste fino más sencillo para nuevas clases, pero pueden tener una menor precisión en objetos pequeños o fuertemente ocluidos.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en demostrar las ventajas de la eficiencia de anotación y el flujo de trabajo de despliegue de los detectores de una sola etapa para aplicaciones de clases personalizadas estrechas. Argumenta que para los profesionales que necesitan detectar objetos novedosos (como vehículos militares) con datos limitados, realizar un ajuste fino de un detector ligero de una sola etapa es a menudo más relevante operativamente que buscar mejoras marginales de mAP en benchmarks estándar con modelos de dos etapas.

El autor establece explícitamente que la comparación entre el YOLOv8 ajustado y los modelos de dos etapas zero-shot no es un concurso de precisión directa, sino un escenario realista de extensión de los procesos existentes. El estudio concluye que, si bien las arquitecturas más nuevas (YOLOv9–v12, RT-DETR) han desplazado la frontera de precisión-velocidad, los compromisos fundamentales ilustrados por Faster R-CNN, Mask R-CNN y YOLOv8 siguen siendo instructivos para comprender el campo.

Limitaciones Reconocidas
El artículo reconoce modestamente que su evidencia actual es cualitativa en lugar de cuantitativa, careciendo de mAP reportado, curvas de precisión-recuperación o métricas de latencia. Señala que el pequeño tamaño de su conjunto de datos personalizado (20 imágenes) y la asimetría en las condiciones de entrenamiento (YOLO ajustado frente a modelos de dos etapas zero-shot) son restricciones que un estudio cuantitativo futuro debería abordar. Además, destaca la necesidad de una revisión ética con respecto a la naturaleza de doble uso de la detección de objetos militares.

Resumen Técnico: Un Estudio Comparativo de Faster R-CNN, Mask R-CNN y YOLOv8

Más como este