💻 computer science

TriCLE: Tri-Modal Vision-Language Reasoning for Edge-Deployed Fine-Grained Clustering

CLE es un sistema de visión-lenguaje trimodal desplegable en el borde que sintetiza datos térmicos y de profundidad a partir de imágenes aéreas RGB únicas para lograr una agrupación taxonómica de alta precisión y relevancia para la ingeniería bajo estrictas restricciones de memoria y cómputo.

Autores originales: Kishor Datta Gupta, Md. Mahfuzur Rahman, Fahad Rahman, Ahmed Rafi Hasan, Faysal Mehrab Chowdhury, Mohd Ariful Haque, Roy George

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kishor Datta Gupta, Md. Mahfuzur Rahman, Fahad Rahman, Ahmed Rafi Hasan, Faysal Mehrab Chowdhury, Mohd Ariful Haque, Roy George

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando identificar un pájaro en el cielo, pero solo puedes verlo durante una fracción de segundo y tu vista está un poco nublada. Podrías suponer que es un halcón por su forma, o un halcón peregrino por su velocidad, pero sin ver sus plumas claramente, podrías equivocarte fácilmente. Ahora, imagina hacer esto no con un pájaro, sino con un avión de alta tecnología, y que tienes que hacerlo instantáneamente en una pequeña computadora conectada a un dron que no tiene internet y tiene muy poca batería. Este es el tipo de rompecabezas que los científicos en el campo de la "computación en el borde" (edge computing) y la "inteligencia artificial" están tratando de resolver. Quieren que las máquinas sean lo suficientemente inteligentes como para comprender escenas complejas justo donde ocurre la acción, sin necesidad de enviar datos de vuelta a una supercomputadora gigante en la nube. Para lograr esto, utilizan "Modelos de Visión y Lenguaje", que son como robots superinteligentes que pueden mirar una imagen y hablar sobre lo que ven, combinando pistas visuales con un razonamiento similar al humano. Pero aquí está el truco: la mayoría de estos robots son entrenados solo con fotos a color regulares. En el mundo real, especialmente para las aeronaves, una foto a color no siempre es suficiente. A veces necesitas ver el calor que emana del motor (visión térmica) o la forma 3D de las alas (visión de profundidad) para distinguir dos aviones que se parecen entre sí. La gran pregunta es: ¿cómo le enseñas a un robot a usar todos estos diferentes "sentidos" cuando no tienes una cámara que pueda ver todos ellos a la vez, y tienes que ejecutar todo el sistema en un dispositivo diminuto?

Aquí es donde entra en juego un nuevo proyecto llamado TriCLE. Piensa en TriCLE como un mago astuto que puede conjurar sentidos faltantes. Los investigadores se dieron cuenta de que, aunque no tenían cámaras térmicas reales o escáneres láser 3D (LiDAR) para cada foto de un avión, podían usar una sola foto a color regular para crear versiones falsas pero realistas de esas otras vistas. Es como mirar un boceto en blanco y negro y usar un programa inteligente para colorearlo con firmas de calor y luego esculpirlo en un modelo 3D, todo mientras mantienes el dibujo original perfectamente alineado. Alimentaron este trío "trimodal" —la foto a color real, el mapa de calor falso y el mapa de profundidad 3D falso— a un cerebro de IA compacto (un modelo de 4 mil millones de parámetros basado en Qwen3-VL). Pero el simple hecho de mostrarle a la IA estas tres vistas no era suficiente; necesitaban enseñarle a pensar como un ingeniero aeronáutico, agrupando los aviones por su tipo de motor, forma de ala y era de diseño, en lugar de solo por qué tan brillantes se ven.

Para entrenar a esta IA, el equipo probó varios métodos de enseñanza diferentes. Descubrieron que la mejor manera de enseñar al robot era una técnica llamada Optimización de Política de Secuencia de Grupo (GSPO). Imagina que estás enseñando a un estudiante a escribir un ensayo. Si solo lo corriges palabra por palabra mientras escribe, podría quedarse atrapado en un bucle, repitiendo la misma frase eternamente. Pero si dejas que escriba todo el párrafo, y luego calificas todo el flujo de lógica a la vez, el estudiante aprende a mantener sus pensamientos coherentes y llegar a una conclusión clara. Eso es lo que hace GSPO: observa todo el proceso de razonamiento que genera la IA y la recompensa por mantenerse en el camino, evitar bucles repetitivos y llegar a la clasificación de ingeniería correcta.

Los resultados de este experimento fueron bastante prometedores. Cuando se probó en un conjunto de imágenes de aviones que la IA nunca había visto, el modelo entrenado con GSPO acertó la clasificación el 78.00% de las veces. También logró mantener su formato de salida correcto el 94.00% de las veces, lo que significa que no se confundió y escupió jerga sin sentido. Quizás lo más importante para la parte del "borde" de la historia, los investigadores comprimieron este modelo inteligente utilizando una técnica llamada cuantización de 4 bits (básicamente, comprimiendo la memoria de la IA sin perder su inteligencia). Después de esta compresión, todo el sistema cupo en 8GB de memoria y pudo procesar una imagen compleja de un avión en solo 1.48 segundos. Esto sugiere que TriCLE es un prototipo práctico para hacer que los drones y los dispositivos pequeños sean lo suficientemente inteligentes como para identificar aeronaves sobre la marcha. Sin embargo, los autores son cuidadosos al señalar que, debido a que las vistas de "calor" y "3D" fueron generadas por un programa de computadora en lugar de ser medidas por sensores reales, esto es una prueba de concepto. El sistema funciona bien en estas simulaciones controladas, pero el equipo sugiere que el trabajo futuro necesita probarlo con datos de sensores reales y sincronizados para ver si se mantiene firme en el mundo real, desordenado e impredecible.

Resumen Técnico: TriCLE – Razonamiento Tri-Modal de Visión-Lenguaje para la Agrupación de Grano Fino Desplegada en el Borde (Edge)

1. Declaración del Problema

El artículo aborda el desafío de realizar la agrupación taxonómica de aeronaves de grano fino en plataformas de borde (p. ej., drones) donde los recursos están severamente limitados por la memoria, la capacidad de cómputo y la conectividad intermitente. Los modelos de reconocimiento de solo RGB estándar y los modelos de visión-lenguaje (VLM) de propósito general tienen dificultades en este entorno por dos razones principales:

Escasez de Modalidad: El reconocimiento de aeronaves de alto rendimiento suele beneficiarse de datos térmicos (FLIR) y geométricos (LiDAR), pero los conjuntos de datos alineados de RGB–térmico–LiDAR son raramente disponibles.
Restricciones de Borde: Los métodos de percepción multi-modal existentes suelen asumir sensores calibrados y anotaciones emparejadas, las cuales son difíciles de obtener, y a menudo son demasiado pesados computacionalmente para el despliegue en el borde.

El objetivo es crear un sistema que pueda interpretar imágenes de aeronaves bajo estas restricciones, distinguiendo las aeronaves basándose en propiedades relevantes para la ingeniería (propulsión, familia de la estructura, tamaño, era de diseño) en lugar de solo en su apariencia superficial.

2. Metodología

El sistema propuesto, TriCLE, es un pipeline de VLM tri-modal orientado a aplicaciones, diseñado para operar a partir de una única entrada RGB. La metodología procede a través de cuatro fases distintas:

A. Generación de Datos Tri-Modales Sintéticos

Dado que los datos multi-sensor alineados son escasos, TriCLE sintetiza las modalidades faltantes a partir de una única imagen RGB ( $I_{rgb}$ ):

Térmico Sintético ( $I_{th}$ ): Se genera una vista térmica tipo FLIR que preserva la estructura utilizando un transformador FLIX.1-dev modificado. La generación es guiada por ControlNet (condicionada en bordes Canny) para mantener la geometría de la estructura y capas LoRA entrenadas en un conjunto de datos empírico de FLIR para simular gradientes térmicos alrededor de motores y góndolas.
Pseudo-LiDAR ( $I_{lidar}$ ): Se estima un mapa de profundidad monocular denso a partir de la imagen térmica sintética utilizando un Transformer de Predicción Densa (DPT). Este mapa de profundidad se proyecta hacia atrás en una nube de puntos 3D, que luego se convierte en una imagen de proyección de profundidad ortográfica compatible con los codificadores de visión de los VLM estándar.
Resultado: Se crea un triplete tri-modal sincronizado $T = (I_{rgb}, I_{th}, I_{lidar})$ para el entrenamiento y la inferencia.

B. Arquitectura del Modelo y Ajuste Fino (Fine-Tuning)

El sistema utiliza un backbone compacto Qwen3-VL-4B. Para adaptar este modelo para el despliegue en el borde y tareas de razonamiento específicas sin olvido catastrófico, los autores emplean:

RPSFT (Ajuste Fino Supervisado de Preservación de Rotación): En lugar del SFT estándar, que puede rotar las matrices de pesos pre-entrenados y degradar el conocimiento fuera de la distribución (OOD), el RPSFT congela el modelo base y actualiza solo los pesos de proyección de atención ( $W_q, W_v$ ) en las últimas 12 capas. Estas actualizaciones se regularizan utilizando restricciones ancladas en SVD para mantener la deriva de parámetros dentro del manifold pre-entrenado original.

C. Estrategias de Alineación de Políticas

Para alinear el razonamiento del modelo con una taxonomía de aeronaves experta (agrupación por propulsión, estructura, etc.), se evalúan tres estrategias de aprendizaje por refuerzo:

GRPO (Optimización de Política Relativa de Grupo): Muestrea múltiples completaciones y las califica según el formato y la precisión, utilizando la ventaja relativa dentro del grupo.
GSPO (Optimización de Política de Secuencia de Grupo): Calcula las proporciones de probabilidad sobre la secuencia generada completa en lugar de token por token. Esto tiene como objetivo prevenir el colapso de tokens locales y fomentar rutas de razonamiento globalmente coherentes.
DAPO (Optimización de Política de Ventaja Directa): Optimiza una pérdida de preferencia de pares entre las respuestas elegidas y rechazadas, utilizando máscaras de truncamiento para filtrar generaciones excesivamente largas.

D. Optimización del Despliegue

El modelo alineado se somete a una cuantización de 4 bits y a una optimización de memoria de atención para ajustarse a un objetivo de 8GB de VRAM, permitiendo el procesamiento en tiempo real en dispositivos de borde.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

Pipeline Tri-Modal Orientado al Borde: Un sistema completo para la agrupación taxonómica de aeronaves utilizando entradas RGB, térmicas sintéticas y pseudo-LiDAR, diseñado específicamente para entornos de recursos limitados.
Procedimiento de Sensado Sintético: Un método para generar vistas de proyección de profundidad y FLIR alineadas a partir de imágenes monoculares, proporcionando pistas auxiliares controladas cuando los sensores multi-modales reales no están disponibles.
Evaluación Enfocada en el Despliegue: Un análisis exhaustivo de las estrategias de alineación de políticas (GRPO, GSPO, DAPO), la validez de la salida estructurada, la generalización zero-shot, los efectos de la cuantización y la latencia.

4. Resultados Experimentales

El sistema fue evaluado en un conjunto de datos curado de 800 imágenes de una sola clase de aeronaves y una partición de prueba de 100 muestras reservada.

Desempeño de la Optimización de la Política:
- GSPO emergió como la estrategia superior. En el conjunto de validación, alcanzó una precisión del 88.33% y un F1 ponderado de 0.91.
- En la partición de prueba reservada, GSPO logró una precisión del 78.00% y un F1 ponderado de 0.793, manteniendo una formateación de salida procesable del 94.00%.
- Los métodos a nivel de token (GRPO y DAPO) mostraron una precisión menor (67.00%) y un cumplimiento de formato inferior (85.00%) en el conjunto de prueba, indicando vulnerabilidad a bucles de representación en entradas desconocidas.
RPSFT vs. SFT Estándar: Mientras que el SFT estándar logró una mayor precisión en la distribución (63.75% vs. 55.00%), sufrió de olvido catastrófico. El RPSFT preservó las capacidades de razonamiento general, logrando un 90.16% de precisión OOD en el benchmark ScienceQA.
Desempeño en el Borde: Tras la cuantización de 4 bits, el modelo se ajusta al objetivo de despliegue de 8GB y procesa cada triplete tri-modal en 1.48 segundos.
Generalización de Dominio Cruzado: Cuando se probó en el conjunto de datos de escenas de carretera DSERT-RoLL (zero-shot), el modelo alineado con GSPO mantuvo un éxito de formato del 100% y demostró robustez en tareas de conteo (p. ej., MAE de ~0.54 para peatones), aunque el emparejamiento exacto de clases siguió siendo desafiante debido al cambio de dominio.

5. Significancia y Reclamaciones

El artículo posiciona a TriCLE como un prototipo práctico para la agrupación de aeronaves interpretable y factible en el borde. Su significancia radica en demostrar que:

Fusión Multi-Modal Sintética: Es posible entrenar sistemas de razonamiento tri-modales efectivos utilizando datos térmicos sintéticos y proyecciones de profundidad derivadas de imágenes RGB cuando los sensores alineados reales no están disponibles.
Optimización a Nivel de Secuencia: La optimación de política a nivel de secuencia (GSPO) es más efectiva que los métodos a nivel de token para mantener un razonamiento coherente y validez estructural en tareas de generación de formato largo en dispositivos de borde.
Viabilidad: El razonamiento tri-modal complejo puede comprimirse en un modelo de 4B parámetros que se ejecuta dentro de 8GB de VRAM con una latencia inferior a 2 segundos, lo que lo hace viable para el despliegue real en el borde.

Limitaciones Reconocidas:
Los autores declaran explícitamente que TriCLE es un prototipo. Las entradas térmicas y de LiDAR son sintéticas y pueden contener artefactos del generador, lo que significa que no pueden reemplazar al hardware calibrado. La evaluación se limita a imágenes de un solo objeto y no captura completamente las escenas de múltiples aeronaves. Los resultados de dominio cruzado en escenas de carreteras sirven como una prueba de estrés para la robustez de la sintaxis más que como una validación de las capacidades de agrupación de aeronaves. El trabajo futuro requiere la validación en flujos de sensores reales y corregidos.