💻 computer science

Multi-Scale Fruit Capsules: Dilated Convolutions and Dynamic Routing for In-the-Wild Explainable Fruit Recognition

Este artículo presenta FruitCapsNet, una red de cápsulas multiescala que utiliza convoluciones dilatadas e hiperparámetros optimizados mediante el método bayesiano para lograr un reconocimiento de frutas explicable y de vanguardia en diversas condiciones en entornos naturales, preservando la información de la pose espacial y centrándose en las regiones de la fruta completa en lugar de en los bordes.

Autores originales: Subhankar Chattoraj, Sawon Pratiher, Samiran Das, Hubert Konik

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Subhankar Chattoraj, Sawon Pratiher, Samiran Das, Hubert Konik

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el bullicioso mundo de la agricultura moderna, el viaje de una fruta desde el árbol hasta la mesa es gestionado cada vez más por máquinas. Los agricultores y las instalaciones de empaque dependen de sistemas automatizados para clasificar los productos, comprobar la madurez e identificar defectos con una velocidad y consistencia que las manos humanas no pueden igualar. Para que estas máquinas funcionen, deben ser capaces de "ver" la fruta de la misma manera que lo hacen los humanos, reconociendo una manzana ya sea que esté colgando de una rama, sentada en una bolsa de plástico, cortada en un plato o magullada por una caída. Esta tarea es engañosamente difícil porque la misma fruta puede verse radicalmente diferente dependiendo de su estado, la iluminación y lo que la rodea. Aunque las computadoras se han vuelto increíblemente buenas detectando objetos en fotos, a menudo tienen dificultades cuando el objeto no se encuentra en una pose perfecta y aislada. Los sistemas tradicionales de visión artificial tienden a centrarse en detalles pequeños y locales, como la curva de una piel o un parche de color específico, y luego unen esos fragmentos. Este enfoque funciona bien en entornos controlados, pero a menudo falla en la realidad desordenada e impredecible de una granja o un supermercado, donde las frutas se superponen, las sombras caen y los fondos son caóticos.

Un equipo de investigadores ha desarrollado una nueva forma de enseñar a las computadoras a ver la fruta que imita la capacidad humana de comprender el objeto completo en lugar de solo sus partes. Crearon un sistema llamado FruitCapsNet, diseñado específicamente para manejar la variedad caótica de la fotografía de frutas del mundo real. En lugar de utilizar los métodos estándar que han dominado el campo durante años, los cuales a menudo descartan información importante sobre dónde se encuentra una parte de un objeto, este nuevo sistema mantiene un registro de la posición y orientación de cada pieza de la fruta. Lo hace mediante el uso de un tipo especializado de filtro digital que permite a la computadora ver un área mucho más amplia alrededor de cada punto de interés sin necesidad de añadir más potencia de procesamiento. Al combinar esta vista amplia con un método que comprueba qué tan bien coinciden las diferentes partes de la fruta entre sí para formar un todo, el sistema puede reconocer una fruta incluso cuando está parcialmente oculta o rodeada de otros objetos.

Los investigadores probaron su sistema en cuatro colecciones diferentes de imágenes de frutas, que van desde fotos limpias de estilo de estudio hasta un nuevo y desafiante conjunto de más de diez mil imágenes tomadas en entornos naturales. Este nuevo conjunto, al que llamaron PD-19, contiene imágenes con múltiples frutas en un mismo cuadro, iluminación desigual y frutas en diversos estados, como peladas, embolsadas o cortadas. Cuando compararon su sistema contra diez de los modelos de visión artificial más potentes existentes, FruitCapsNet funcionó mejor en cada uno de los conjuntos de datos. La diferencia fue más dramática en las imágenes difíciles del mundo real, donde el nuevo sistema superó al siguiente mejor competidor por casi tres puntos porcentuales. En el mundo de la clasificación automatizada, donde se procesan millones de artículos, incluso una pequeña mejora en la precisión puede prevenir una pérdida financiera y de productos significativa. Los investigadores descubrieron que su sistema no estaba simplemente adivinando; realmente estaba mirando toda la fruta para tomar su decisión, en lugar de centrarse en los bordes o el ruido de fondo, que es un error común cometido por los sistemas más antiguos.

Para entender por qué esto funciona, uno debe observar cómo el sistema procesa una imagen. Los sistemas tradicionales a menudo descomponen una imagen en pequeñas teselas y deciden si existe una característica en una tesela, ignorando exactamente dónde se sitúa esa característica dentro de la misma. Esto es como reconocer un rostro solo por la forma de la nariz, sin importar si la nariz está en el lado izquierdo o derecho de la cara. El nuevo sistema, sin embargo, utiliza una estructura que preserva la relación entre las partes. Utiliza una técnica llamada convolución dilatada, que actúa como una lente que expande la visión de la computadora, permitiéndole ver el contexto alrededor de una fruta sin perder los detalles finos. Esto significa que cuando el sistema observa una naranja cortada, comprende que los gajos pertenecen a un único objeto redondo, incluso si el fondo es un mostrador de cocina concurrido. El sistema luego utiliza un proceso de enrutamiento dinámico para votar si estas partes encajan correctamente para formar un tipo específico de fruta. Si las partes coinciden en la forma y la pose de la fruta completa, el sistema adquiere confianza en su identificación.

El equipo también dedicó un tiempo considerable a ajustar meticulosamente la configuración interna del sistema, no mediante conjeturas o intentando todas las combinaciones posibles, sino utilizando un método de búsqueda matemática inteligente que aprende de cada intento. Esto les permitió encontrar el equilibrio perfecto para cómo el sistema pondera diferentes tipos de errores y cómo ajusta su aprendizaje a lo largo del tiempo. El resultado es un modelo que es mucho más pequeño y rápido que los sistemas masivos que usualmente se requieren para este nivel de precisión, utilizando solo una fracción de la profundidad computacional. Cuando los investigadores observaron los "mapas de calor" generados por el sistema para ver en qué se estaba enfocando, vieron una clara diferencia. Los sistemas antiguos tendían a resaltar los bordes de la fruta o las sombras a su alrededor, mientras que el nuevo sistema resaltaba consistentemente la fruta completa, desde su centro hasta su piel. Esto sugiere que el sistema está aprend realmente el concepto de la fruta como un objeto integral, lo que lo hace mucho más robusto contra la confusión de los entornos del mundo real.

El estudio confirma que, al cambiar la forma en que una red de computación procesa la información visual, es posible alcanzar un nivel de comprensión que antes estaba fuera del alcance de los sistemas automatizados. Los investigadores demostraron que su enfoque funciona a través de una amplia variedad de tipos de frutas y condiciones, desde las 15 clases en un conjunto de datos hasta las 19 clases en su nuevo conjunto de datos de entornos naturales. Si bien el sistema no es perfecto y todavía enfrenta desafíos con datos extremadamente ruidosos o el alto costo de ejecutar cálculos complejos en dispositivos pequeños, los resultados muestran un camino claro a seguir. El trabajo sugiere que el futuro del reconocimiento automatizado de frutas no reside en hacer los sistemas más grandes y profundos, sino en hacerlos más inteligentes sobre cómo ensamblan el mundo visual. Al respetar las relaciones espaciales entre las partes y comprender el contexto del todo, las máquinas finalmente pueden aprender a ver la fruta como lo hacemos nosotros, listas para manejar la desordenada y hermosa realidad de la cosecha.

Resumen Técnico: Cápsulas de Fruta Multiescala para el Reconocimiento de Frutas Explicable en Entornos Reales

Declaración del Problema
La clasificación automatizada de frutas en entornos reales (AFCW, por sus siglas en inglés) enfrenta desafíos significativos debido a la alta variabilidad intra-clase y la estrecha separación inter-clase. Las frutas exhiben apariencias diversas basadas en las etapas de maduración, estaciones y procedencia, y a menudo se fotografían en varios estados: sin pelar, peladas, rebanadas, embolsadas o cortadas en un plato. Las Redes Neuronales Convolucionales (CNN) estándar luchan contra esta variabilidad porque sus mecanismos de enrutamiento (pooling) descartan la pose y la ubicación precisa de las características, tratando a los objetos como "bolsas de parches". En consecuencia, las CNN carecen de la capacidad para representar las relaciones espaciales entre las partes y el objeto completo, lo cual es crítico para distinguir, por ejemplo, una fruta rebanada en un plato de la misma fruta en una bolsa. Aunque existen modalidades de detección alternativas (p. ej., hiperespectrales, térmicas), estas suelen ser costosas o invasivas, dejando a la imagen en color como la principal opción económica y trasladando la carga de la robustez a la arquitectura del modelo.

Metodología
Los autores proponen FruitCapsNet, una red de cápsulas diseñada para abordar las limitaciones de las CNN estándar mediante tres innovaciones arquitectónicas y metodológicas centrales:

Cápsulas de Fruta Dilatadas: El frente convolucional estándar de las redes de cápsulas es reemplazado por convoluciones dilatadas. Mientras que las convoluciones estándar tienen un campo receptivo limitado por el tamaño del kernel y la profundidad, las convoluciones dilatadas expanden el campo receptivo exponencialmente con un costo de parámetros constante. Esto permite que cada cápsula agregue contexto multiescala (que abarca la fruta y su entorno inmediato) antes de que el proceso de enrutamiento dinámico resuelva el acuerdo espacial parte-todo. Este contexto pre-enrutado es crucial para manejar la oclusión y las escenas de múltiples objetos.
Enrutamiento Dinámico con Encapsulación de Vectores: A diferencia de las CNN que emiten mapas de características escalares, FruitCaps-Net utiliza cápsulas de vector-entrada/vector-salida. La longitud del vector representa la probabilidad de presencia de una clase, mientras que la dirección codifica los parámetros de instanciación (pose, deformación, albedo). El enrutamiento dinámico reemplaza al pooling, refinando iterativamente los coeficientes de acoplamiento entre las cápsulas hijas y la cápsula padre para asegurar que solo las cápsulas hijas que concuerden en una pose consistente para el objeto completo contribuyan significamente a la activación de la madre.
Optimización Bayesiana de Hiperparámetros: El modelo emplea optimización bayesiana con un sustituto de proceso gaussiano para seleccionar los hiperparámetros, incluyendo las constantes de pérdida de margen ( $m^+, m^-, \lambda, \alpha$ ), los factores de dilatación y los esquemas de entrenamiento. Este enfoque reemplaza la búsqueda manual de cuadrícula, optimizando la interacción de cuatro constantes de pérdida junto con la profundidad de la red, los tamaños de filtro y las tasas de aprendizaje.

La arquitectura consta de un codificador (tres capas convolucionales dilatadas, una capa PrimaryCaps y una capa DigitCaps) y un decodificador que reconstruye la imagen de entrada para actuar como un regularizador contra el sobreajuste.

Contribuciones Claves

Novedad Arquitectónica: El artículo introduce la primera aplicación de convoluciones dilatadas dentro del frente de una red de cápsulas. Este diseño permite que las cápsulas capturen contexto multiescala antes del enrutamiento dinámico, un vacío no abordado previamente en la literatura de cápsulas.
Benchmark PD-19: Los autores introducen PD-19, un nuevo conjunto de datos "in-the-wild" que comprende 10,639 imágenes de 19 clases. A diferencia de los conjuntos de datos existentes (SMP, FruitsGB, Fruits-360) que a menudo presentan frutas individuales sobre fondos homogéneos, PD-19 incluye múltiples categorías por imagen, fondos inhomogéneos, oclusión y presentaciones variadas (cortada, servida en plato, embolsada).
Explicabilidad vía Grad-CAM: El estudio adapta Grad-CAM a las redes de cápsulas mediante la propagación de gradientes desde la capa DigitCaps hacia la capa convolucional. Esto proporciona evidencia visual de que las decisiones del modelo se atribuyen a las regiones de la fruta completa y no solo a los bordes del objeto.
Estrategia de Optimización: El uso de la optimización bayesiana para ajustar el complejo paisaje de pérdida no diferenciable de las redes de cápsulas, específicamente las constantes de pérdida de margen y los factores de dilatación.

Resultados Experimentales
El modelo fue evaluado en tres conjuntos de datos públicos (SMP, FruitsGB, Fruits-360) y en el nuevo conjunto PD-19.

Desempeño: FruitCapsNet superó a diez arquitecturas de transferencia de aprendizaje ajustadas (incluyendo variantes de ResNet, VGG, DenseNet y MobileNet) en todos los conjuntos de datos. Notablemente, logró estos resultados con una profundidad de red de solo 7 capas en comparación con las 201 capas de su competidor más cercano (DenseNet-201).
Escalamiento de Dificultad: El margen de desempeño escaló con la dificultad de la escena. En los conjuntos de datos saturados (públicos), las mejoras fueron marginales (p. ej., +0.32% en FruitsGB). Sin embargo, en el desafiante conjunto PD-19, FruitCapsNet superó al competidor más cercano por un +2.67%.
Estudios de Ablación:
- Dilatación: Establecer el factor de dilatación en $d=2$ representó entre el 50 y 62% de la mejora total en los conjuntos de datos públicos y el 70% en PD-19. Incrementar a $d=3$ degradó el desempeño debido a artefactos de rejilla (gridding) e integración excesiva de ruido de fondo.
- Optimización Bayesiana: Proporcionó un impulso aditivo y agnóstico al dataset de +0.29% a +0.69%, optimizando el esquema de aprendizaje en lugar del contexto espacial.
Análisis Visual: Las visualizaciones de Grad-CAM demostraron que, mientras la saliencia de DenseNet colapsaba en los bordes del objeto, FruitCapsNet atribuía las decisiones a la región completa de la fruta. Esta atribución de objeto completo se mantuvo robusta bajo oclusión, desorden y cambios de pose, mientras que los mapas de calor de la línea base se volvieron ambiguos o se desplazaron hacia el fondo.

Significancia y Reivindicaciones
El artículo sostiene que la fuente principal de ganancia de desempeño es la capacidad del modelo para atribuir decisiones a regiones de la fruta completa en lugar de bordes locales. Al expandir el campo receptivo mediante convoluciones dilatadas antes del enrutamiento dinámico, la red puede resolver acuerdos espaciales parte-todo incluso en escenarios complejos, ocluidos y de múltiples objetos. Los autores afirman que este enfoque proporciona evidencia post-hoc de que las ganancias de desempeño no son artefactos del conjunto de datos, sino que derivan de una representación más robusta de la estructura espacial.

El trabajo destaca que, mientras las CNN estándar están limitadas por sus mecanismos de pooling en escenarios "en la naturaleza", las redes de cápsulas potenciadas con convoluciones dilatadas y un riguroso ajuste de hiperparámetros pueden lograr una precisión superior con significativamente menos parámetros. Los autores reconocen limitaciones, incluyendo el ruido de etiquetas no cuantificado en el conjunto de datos recolectado de la web (PD-19) y el costo computacional del enrutamiento, lo que actualmente restringe su despliegue en dispositivos de borde (edge). Se sugiere como trabajo futuro enfocarse en métricas de localización cuantitativas para la explicabilidad, pre-entrenamiento adversarial y aprendizaje de pocos disparos (few-shot learning) para cultivares no vistos.

Más como este