💻 computer science

Category-aware and Centroid-Guided Point Transformer for 3D Ear Region Segmentation

Este artículo propone un transformador de puntos guiado por centroides y consciente de la categoría basado en Point Transformer v3 para abordar el desequilibrio de clases y el desenfoque de bordes en la segmentación de la región de la oreja 3D, logrando una precisión superior tanto en subregiones grandes como pequeñas mediante un módulo de atención equilibrado por clase, una función de pérdida dinámica y un posprocesamiento guiado por centroides.

Autores originales: Li Yuan, Wenhao Zuo, Jiangyun Li, Wenjiang Huang

Publicado 2026-09-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Li Yuan, Wenhao Zuo, Jiangyun Li, Wenjiang Huang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El oído humano es un paisaje complejo de curvas, crestas y huecos profundos, una estructura tan intrincada que durante mucho tiempo ha desafiado a los ingenieros que intentan diseñar auriculares, audífonos o dispositivos médicos que se ajusten perfectamente. Para construir algo que se asiente bien en el oído, los diseñadores necesitan conocer la forma y el tamaño exactos de cada pequeña parte, desde el borde exterior hasta las cámaras internas más profundas. Durante décadas, los investigadores han intentado mapear estas formas utilizando fotografías planas, pero una imagen bidimensional no puede capturar la verdadera profundidad y curvatura de un objeto tridimensional. Es como intentar comprender la forma de una cordillera mirando una sola sombra; la profundidad se pierde y los detalles se desdibujan. Para resolver esto, los científicos han recurrido a las nubes de puntos 3D, que son colecciones digitales de millones de diminutos puntos que mapean la superficie de un objeto en el espacio, preservando cada curva y ángulo. Sin embargo, incluso con estos mapas detallados, enseñar a las computadoras a reconocer la diferencia entre una sección externa grande del oído y un punto pequeño y específico en su interior ha resultado difícil. La computadora tiende a ignorar los detalles pequeños y poco comunes porque se ven abrumados por el enorme volumen de datos de las áreas más grandes, de forma muy similar a un reflector que es demasiado brillante para ver las pequeñas flores que crecen en la sombra de un árbol gigante.

Un equipo de investigadores de la Universidad de Ciencia y Tecnología de Beijing y la Academia China de Ciencias ha desarrollado un nuevo método para ayudar a las computadoras a ver estos pequeños detalles con claridad. Crearon un modelo digital especializado diseñado para segmentar, o separar, el oído humano en sus distintas regiones con alta precisión. Su enfoque se centra en un problema específico: el oído contiene ocho regiones principales, como el lóbulo de la oreja y el borde exterior, que cubren la mayor parte de la superficie, y ocho regiones mucho más pequeñas y críticas ocultas en lo profundo del hueco principal, que corresponden a puntos específicos utilizados en la medicina tradicional. Debido a que las regiones pequeñas tienen muchos menos puntos de datos que las grandes, los modelos de computadora estándar suelen confundirlas con sus vecinos más grandes o no logran identificarlas por completo. Los investigadores construyeron su solución basada en un sistema avanzado existente conocido como Point Transformer, que ya es hábil en la comprensión de formas 3D, pero le añadieron tres nuevas capas de inteligencia para corregir el desequilibrio.

Primero, el equipo introdujo un mecanismo que obliga a la computadora a prestar atención adicional a las partes pequeñas y raras del oído. En el modelo digital, esto funciona asignando un peso especial a las regiones diminutas, diciéndole efectivamente al sistema: "No pases por alto estas". Esto asegura que las características de las áreas pequeñas se amplifiquen durante el proceso de aprendizaje, haciendo que destaquen frente al fondo de las secciones más grandes del oído. Segundo, ajustaron la forma en que la computadora aprende de sus errores. En lugar de tratar cada error de la misma manera, el sistema ahora penaliza mucho más severamente los errores que involucran a las regiones pequeñas. Si la computadora identifica erróneamente un punto diminuto dentro del oído, la penalización es severa, impulsando al modelo a corregir ese error específico de inmediato. Este ajuste dinámico asegura que el modelo no se concentre únicamente en las áreas grandes y fáciles. Finalmente, los investigadores añadieron un paso de acabado después de que la computadora hace su suposición inicial. Debido a que la computadora a veces se emociona demasiado con las regiones pequeñas y marca demasiados puntos como pertenecientes a ellas, el equipo utiliza una regla geométrica para limpiar el resultado. Calculan el punto central exacto de la región pequeña predicha y luego seleccionan solo los veinte y cinco puntos más cercanos a ese centro para que sean la forma final y oficial. Esto asegura que la región identificada sea compacta, redonda y fiel a la anatomía, eliminando cualquier punto disperso o ruidoso que pudiera haber sido incluido por error.

Los investigadores probaron su nuevo sistema en un conjunto de datos de 500 modelos de oídos humanos, cada uno con casi 30,000 puntos. Los resultados mostraron una mejora significativa respecto a los métodos anteriores. Mientras que los modelos antiguos luchaban por distinguir las diminutas regiones internas, a menudo desdibujando sus límites o perdiéndolas por completo, el nuevo sistema logró un alto nivel de precisión, identificando correctamente el solapamiento promedio entre la forma predicha y la forma real de 0.8387. Más importante aún, clasificó correctamente el punto promedio en todas las regiones con una precisión de 0.9510. Al compararse con otras tecnologías líderes, el nuevo método produjo límites mucho más nítidos y muchos menos errores, particularmente en las partes internas de la oreja, que son concurridas y complejas. Las comparaciones visuales mostraron que, mientras otros modelos dejaban las regiones pequeñas fragmentadas o confundidas con el tejido circundante, este nuevo enfoque produjo formas limpias y continuas que coincidían perfectamente con la anatomía real.

La importancia de este trabajo radica en su capacidad para hacer que los modelos digitales de los oídos sean lo suficientemente confiables para el diseño en el mundo real. Al resolver el problema del desequilibrio de clases —donde las áreas grandes ahogan a las pequeñas—, los investigadores han proporcionado una herramienta que puede medir con precisión el tamaño geométrico de cada parte del oído. Esta precisión es esencial para la creación de dispositivos que se usan en el oído que no solo sean funcionales, sino también cómodos para un uso prolongado. El equipo ha puesto su código y sus datos a disposición del público, permitiendo que otros científicos verifiquen sus hallazgos y construyan sobre su trabajo. En el futuro, esta tecnología podría integrarse con diagnósticos médicos para ofrecer un análisis aún más detallado del oído, apoyando el diseño de dispositivos personalizados y mejorando la precisión del análisis auricular para aplicaciones de salud. El estudio demuestra que, con la combinación adecuada de atención, reglas de aprendizaje y refinamiento geométrico, las computadoras finalmente pueden aprender a ver los detalles más pequeños del cuerpo humano con la misma claridad que los más grandes.

Resumen Técnico: Transformador de Puntos con Conciencia de Categoría y Guía de Centroides para la Segmentación de la Región de la Oreja en 3D

1. Planteamiento del Problema

La segmentación precisa de nubes de puntos 3D de la oreja es crítica para el diseño de dispositivos portátiles de oreja que sean cómodos y funcionales (por ejemplo, auriculares, audífonos, masajeadores de oreja) y para el análisis auricular. La oreja humana consta de ocho regiones principales (por ejemplo, hélix, concha, lóbulo de la oreja) y numerosas subregiones más pequeñas (por ejemplo, áreas de acupuntos específicos dentro de la concha).

Los métodos de segmentación de nubes de puntos existentes enfrentan desafíos significativos en este dominio debido a:

Desequilibrio de Clases Severo: Las regiones grandes (como el hélix) contienen la mayoría de los puntos, mientras que las subregiones diminutas (como los acupuntos específicos) tienen muy pocos puntos. Esto provoca que los modelos se sesguen hacia las regiones grandes, causando una clasificación errónea y la "erosión" de las regiones pequeñas.
Complejidad Geométrica: Las regiones pequeñas están estrechamente adyacentes a regiones más grandes con superficies curvas complejas y características locales cóncavo-convexas.
Fragmentación de Fronteras: Los métodos estándar suelen producir fronteras fragmentadas y formas irregulares para las regiones pequeñas, fallando en capturar las estructuras anatómicas precisas requeridas para el ajuste de dispositivos y el análisis médico.
Limitaciones de los Enfoques 2D: Aunque existen métodos basados en imágenes 2D, estos pierden la información de profundidad y luchan con la compleja topología 3D de la oreja, particularmente para la localización de grano fino.

2. Metodología

Los autores proponen un marco de Transformador de Puntos con Conciencia de Categoría y Guía de Centroide construido sobre la base de Point Transformer v3. La arquitectura consta de cuatro componentes principales: preprocesamiento, un codificador, un decodificador y un cabezal de segmentación, aumentados por tres innovaciones específicas para abordar el desequilibrio de clases y los problemas de precisión geométrica.

A. Módulo de Atención con Equilibrio de Clases

Ubicado después del decodificador, este módulo tiene como objetivo mejorar la representación de características de las categorías de regiones pequeñas (etiquetas 8–15) que suelen estar subrepresentadas.

Mecanismo: Utiliza un vector de peso de categoría aprendible. A las regiones grandes (0–7) se les asigna un peso dinámico $\alpha$ , mientras que a las regiones pequeñas (8–15) se les asigna un peso dinámico $\beta$ .
Ajuste Dinámico: A través de la regularización L2 y de dispersión (sparsity), el modelo aprende a aumentar $\beta$ en relación con $\alpha$ a medida que aumenta la profundidad de la red. Esto desplaza la atención del modelo desde las estructuras geométricas globales en las capas superficiales hacia las características semánticas de alto nivel de las regiones pequeñas en las capas profundas.
Mejora de Características: El módulo multiplica las características del decodificador por un factor de atención derivado de estos pesos, amplificando las características de las regiones pequeñas para evitar que sean "erosionadas" por las regiones grandes adyacentes.

B. Función de Pérdida con Conciencia de Categoría Dinámica

Para guiar aún más el proceso de entrenamiento hacia las regiones pequeñas, se emplea una función de pérdida compuesta:
$L_{total} = \lambda_{CE}L_{CE} + \lambda_{Lovasz}L_{Lovasz} + \lambda_{DCA}L_{DCA} + \lambda_{CBR}L_{CBR}$

Pérdida con Conciencia de Categoría Dinámica ( $L_{DCA}$ ): Esta pérdida combina pesos de partición (asignando un peso mayor $\theta$ a las regiones pequeñas) con pesos dinámicos basados en la frecuencia inversa de los puntos en el lote actual. Esto asegura que las regiones pequeñas mal clasificadas incurran en una penalización significativamente mayor, dirigiendo la optimización hacia estas categorías difíciles.
Pérdida Regularizada por Equilibrio de Categorías ( $L_{CBR}$ ): Una pérdida auxiliar que restringe los pesos aprendibles en el módulo de atención, evitando que se vuelvan excesivamente grandes mientras asegura que las regiones pequeñas reciban la atención suficiente.

C. Post-procesamiento Guiado por Centroide

Incluso con la mejora en el aprendizaje de características, las predicciones directas para las regiones pequeñas pueden ser espacialmente dispersas o fragmentadas. Los autores proponen una estrategia de post-procesamiento para refinar estos resultados:

Cálculo del Centroide: Para cada categoría de región pequeña predicha, se calcula el centroide geométrico ( $\mu_c$ ) del conjunto de puntos predichos.
Selección de Vecinos Cercanos: Utilizando K-Vecinos Más Cercanos (KNN), se seleccionan los 25 puntos más cercanos al centroide calculado y se asignan a esa categoría de región pequeña específica. Esta estrategia aprovecha el antecedente anatómico de que las regiones pequeñas de la oreja están espacialmente concentradas alrededor de un centro, asegurando resultados de segmentación más compactos y geométricamente regulares al re-seleccionar el conjunto de puntos más representativo dentro del vecindario del centroide.

3. Contribuciones Clave

Arquitectura Novedosa: La integración de un Módulo de Atención con Equilibrio de Clases en Point Transformer v3 para ajustar dinámicamente los pesos de las características, apuntando específicamente a la subrepresentación de las regiones pequeñas de la oreja.
Funciones de Pérdida Especializadas: La introducción de una Pérdida con Conciencia de Categoría Dinámica y una Pérdida Regularizada por Equilibrio de Categorías para mitigar el sesgo de entrenamiento y forzar el enfoque en las clases minoritarias durante la optimización.
Post-procesamiento Geométrico: Un método de Post-procesamiento Guiado por Centroide que corrige la dispersión espacial en las predicciones de las regiones pequeñas, asegurando la integridad de la frontera y la compacidad sin depender de operaciones morfológicas generales.
Evaluación Exhaustiva: Experimentos extensos en un conjunto de datos de 500 muestras de nubes de puntos de oreja (derivadas del Modelo de Oreja de York) demostrando un rendimiento superior tanto en la delineación de regiones grandes como en la localización de grano fino de regiones pequeñas.

4. Resultados Experimentales

El método propuesto fue evaluado en un conjunto de datos de 500 nubes de puntos de oreja (sobremuestreadas a 29,800 puntos), etiquetadas con 8 regiones principales y 8 regiones de acupuntos pequeños. El modelo se comparó contra PointNet++, Point Transformer V2 y Point Transformer V3.

Rendimiento Cuantitativo:
El método propuesto alcanzó las siguientes métricas, superando a todos los modelos de referencia:

mIoU (Media de Intersección sobre Unión): 0.8387 (frente a 0.7375 para Point Transformer V3).
mAcc (Precisión Media): 0.9510 (frente a 0.8334 para Point Transformer V3).
allAcc (Precisión Global): 0.9744.
mPrecision (Precisión Media): 0.8744.

Observaciones Cualitativas:

Estudios de Ablación: El estudio confirmó que el módulo de Atención con Equilibrio de Clases por sí solo mejoró el mIoU a 0.8213. La adición de la Pérdida Dinámica y el Post-procesamiento refinó aún más los resultados, logrando el modelo completo el pico de mIoU.
Resultados Visuales: El método propuesto segmentó con éxito todas las ocho regiones principales con una alineación anatómica precisa y logró una segmentación completa y no fragmentada de las ocho regiones de acupuntos pequeños. En contraste, los modelos de referencia exhibieron una severa mala segmentación, desenfoque de fronteras y sub-segmentación de las regiones pequeñas.

5. Significado y Reivindicaciones

El artículo afirma que el marco propuesto ofrece una solución valiosa para la segmentación de regiones de la oreja en 3D, abordando directamente el desafío crítico del desequilibrio de clases en datos de nubes de puntos multiescala.

Impacto en la Aplicación: La mejora en la precisión de la segmentación y la claridad de las fronteras proporciona un soporte geométrico confiable para el diseño de dispositivos portables de oreja (asegurando comodidad y ajuste) y el análisis auricular (apoyando aplicaciones médicas o biométricas).
Valor Metodológico: El trabajo demuestra que la combinación de mecanismos de atención a nivel de características, el pesaje dinámico de la pérdida y el post-procesamiento consciente de la geometría crea un bucle de optimización completo que mejora significativamente el rendimiento de la segmentación de grano fino en tareas con disparidades de escala severas.
Reproducibilidad: Los autores han puesto el código y los datos experimentales a disposición pública para apoyar la investigación adicional y la replicación.

Los autores concluyen que este enfoque cierra eficazmente la brecha entre la comprensión estructural de gran escala y el detalle local de grano fino, ofreciendo una base robusta para el trabajo futuro en el diseño de dispositivos personalizados de uso en la oreja y la detección inteligente.