🤖 machine learning

SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks

El artículo propone SeFaR, un nuevo marco de trabajo que aprovecha el modelado de conceptos jerárquicos y la IA generativa para probar sistemáticamente la robustez semántica de las redes neuronales profundas mediante la generación de perturbaciones realistas que preservan los requisitos e identificando características que inducen fallos a través de un proceso de retroalimentación adaptativo.

Autores originales: Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Publicado 2026-08-12

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a conducir un coche o a navegar por un planeta rocoso como Marte. Le das al robot un conjunto de reglas, como "Si hay un coche delante de ti, no aceleres". Pero aquí está el truco: los robots aprenden mirando imágenes, y pueden ser sorprendentemente ingenuos. Podrían confundirse si el coche de delante es azul en lugar de rojo, o si el cielo se vuelve de un color naranja polvoriento. Este es el mundo de las Redes Neuronales Profundas, el software inteligente detrás de los coches autónomos y los vehículos espaciales. Aunque estos sistemas son excelentes para reconocer cosas en condiciones perfectas, a menudo fallan o cometen errores cuando el mundo se vuelve extraño, oscuro o simplemente diferente de lo que vieron en la escuela.

Para mantener seguros a estos robots, necesitamos probarlos no solo con ruido aleatorio, sino con características semánticas. Piensa en estas como las partes "significativas" de una imagen: el color de un coche, el tipo de clima, o la forma de una roca. La gran pregunta que se hacen los investigadores es: "Si cambiamos el color del coche pero mantenemos la regla de 'no acelerar' como verdadera, ¿el robot entrará en pánico?". Este artículo presenta una nueva forma de responder a esa pregunta, yendo más allá de simplemente retocar píxeles para cambiar realmente la historia de la imagen de una manera controlada y smart.

La máquina del "¿Qué pasaría si...?" del robot

Conoce a SeFA (Pruebas de Robustez conscientes de las Características Semánticas). Puedes pensar en SeFA como un profesor de arte muy creativo y ligeramente travieso para los robots. Su trabajo es tomar las "reglas" de un robot y un montón de imágenes que siguen esas reglas, y luego preguntar: "¿Qué pasa si cambiamos solo una cosa de la imagen, como convertir un sedán en un camión, o cambiar el clima a una tormenta de polvo, mientras mantenemos el resto de la escena exactamente igual?".

La mayoría de las formas antiguas de probar a los robots eran como lanzarles arena a los ojos o nublar su visión. Eso no es muy útil porque la vida real no es solo borrosa; está llena de cambios específicos, como una luz verde que se vuelve roja o un peatón que aparece. SeFA es diferente. Utiliza un "modelo de concepto jerárquico" especial, que es como un árbol genealógico de ideas. En la parte superior, tienes categorías amplias como "Vehículo" o "Clima". A medida que bajas por las ramas, te vuelves más específico: "Vehículo" se divide en "Camión" o "Sedán", y "Color" se divide en "Azul", "Verde" o incluso "Turquesa".

SeFA utiliza potentes herramientas de IA llamadas modelos de difusión (piensa en ellos como pintores digitales superinteligentes) para redibujar las imágenes. Si le dices: "Cambia el coche por un camión azul", pintará un camión azul en la escena sin estropear la carretera, el cielo o los otros coches. Luego comprueba si el robot sigue cumpliendo las reglas. Si el robot de repente decide acelerar porque el coche ahora es azul, ¡SeFA lo atrapa!

El trabajo de detective

La parte realmente genial es cómo SeFA encuentra la razón exacta por la que el robot falló. A veces, el robot puede fallar debido a un color específico, como el "Turquesa", que a sus creadores ni siquiera se les ocurrió probar. SeFA actúa como un detective. Observa las imágenes fallidas y utiliza otra herramienta de IA (un modelo de Visión-Lenguaje) para describir qué cambió. Podría decir: "Oye, el coche se volvió turquesa, y por eso el robot entró en pánico".

El artículo probó esto en tres escenarios diferentes:

Coches autónomos (SGSM): Probando reglas como "Si un coche está a 10 metros de distancia, no aceleres".
Un rover de campus (RRAV): Probando si puede detectar conos de tráfico y personas.
Un rover de Marte (AI4MARS): Probando si puede detectar rocas grandes en la superficie de Marte.

Lo que encontraron

Los investigadores descubrieron que SeFA es un muy buen artista. Cuando cambiaba las imágenes, mantenía las reglas verdaderas el 93.4% de las veces en promedio. Esto significa que cambió con éxito el color del coche o el clima sin romper accidentalmente la regla (como hacer que el coche desaparezca).

Pero la verdadera sorpresa estuvo en los fallos. SeFA descubrió que los robots son sorprendentemente frágiles.

En las pruebas de conducción, cambiar el color de un coche a verde causó que el robot fallara aproximadamente el 39.7% de las veces. Cambiarlo a un camión causó fallos el 10.5% de las veces.
Aún más interesante, cuando combinaron cambios —como un camión verde— la tasa de fallos subió al 25.5%.
Para el rover de Marte, una tormenta de polvo fue un problema importante, causando fallos, mientras que otros cambios climáticos no molestaron tanto al robot.

El artículo sugiere que estos fallos ocurren porque los robots dependen de "correlaciones espurias": están adivinando basándose en cosas que no deberían importar, como el tono específico de azul o la presencia de la sombra de un árbol, en lugar de la regla real.

La conclusión

SeFA no solo nos dice que un robot falló; nos dice por qué al encontrar la "característica" específica que rompió el cerebro del robot. Descubrió que los robots son a menudo quebradizos, fallando cuando encuentran cambios realistas y específicos como un coche turquesa o una tormenta de polvo, incluso si esos cambios no violan las reglas de seguridad.

Los autores están seguros de que este método funciona bien para encontrar estas debilidades ocultas. Demostraron que, al explorar sistemáticamente estos escenarios de "¿qué pasaría si...?", podemos descubrir fallos que las pruebas estándar pasan por alto. Aunque no afirmaron haber resuelto el problema de la seguridad de los robots para siempre, demostraron que SeFA es una nueva y poderosa herramienta para asegurar que nuestros futuros robots no se confundan por un simple cambio de color o una repentina tormenta de polvo. Es un paso hacia asegurar que, cuando le entreguemos el volante a un robot, no entre en pánico solo porque el cielo se ve un poco diferente.

Resumen Técnico: SeFaR – Pruebas de Robustez Basadas en Características Semánticas de Redes Neuronales Profundas

1. Planteamiento del Problema

Las redes neuronales profundas (DNN) se despliegan cada vez más en dominios críticos para la seguridad, como vehículos autónomos, sistemas aéreos no tripulados y exploración planetaria. Aunque estos modelos demuestran una fuerte precisión empírica, frecuentemente fallan en escenarios raros, subrepresentados o semánticamente complejos, lo que conduce a comportamientos inseguros. Validar el rendimiento a través de todos los escenarios relevantes es un desafío, particularmente en entornos como la exploración espacial donde la recolección de datos del mundo real es costosa e impracticable.

Los enfoques de prueba existentes suelen centrarse en transformaciones a nivel de píxel o manipulaciones en el espacio latente que pueden no corresponder con cambios semánticos significativos. Otros métodos que utilizan simuladores o grafos de escenas están limitados en su capacidad para capturar la variabilidad perceptual del mundo real. Si bien las técnicas recientes de modelos generativos han avanzado en la edición de imágenes y el análisis de representaciones, no están diseñadas para la evaluación sistemática de la robustez de modelos de visión downstream frente a variaciones semánticas no deseadas. Específicamente, existe una falta de marcos de trabajo que puedan evaluar sistemáticamente la robustez del modelo con respecto a características semánticas que son ortogonales a (irrelevantes para) los requisitos funcionales del sistema, pero que aun así influyen en las decisiones del modelo.

2. Metodología: El Marco de Trabajo SeFaR

Los autores proponen SeFaR (Robustez Basada en Características Semánticas), un marco para el testeo sistemático de modelos de visión centrado en características semánticas. El marco evalúa la robustez del modelo mediante la generación de perturbaciones realistas a lo largo de características semánticas que preservan la satisfacción de los requisitos de alto nivel mientras potencialmente exponen fallos.

Componentes Principales

Modelo de Conceptos Jerárquico (Bosque de Árboles de Características - FFT):
- SeFaR utiliza un novedoso modelo de conceptos jerárquico organizado como un bosque de árboles de características. Esta estructura abarca múltiples niveles de abstracción, desde factores gruesos (ej. fondo, tipo de objeto) hasta atributos de grano fino (ej. colores específicos, poses).
- El modelo permite el conocimiento de dominio definido por el usuario (poblado por expertos) y soporta el modelado de "mundo abierto" mediante marcadores de posición (ej. _) para características no especificadas.
- Las características se definen utilizando operadores lógicos (or, xor) para representar relaciones (ej. "es-un" o "parte-de").
Perturbación y Detección de Violaciones:
- Entradas: Una red neuronal ( $N$ ), un requisito de corrección formalizado ( $\phi = \phi_x \Rightarrow \phi_y$ ), un conjunto de entradas que satisfacen el requisito ( $D$ ), y un conjunto estructurado de características semánticas ( $F_\phi$ ) que se espera sean invariantes.
- Proceso: El marco emplea un modelo de difusión de vanguardia (específicamente Qwen-Image-Edit) como un operador de perturbación ( $\Delta$ ). Dado un input de imagen y un prompt de lenguaje natural que especifica una característica a modificar, el modelo genera variaciones fotorealistas que alteran la característica objetivo mientras preservan la semántica del resto de la escena.
- Verificación: Las imágenes perturbadas se evalúan contra la postcondición del requisito ( $\phi_y$ ). Si el modelo falla en la postcondición a pesar de que la precondición ( $\phi_x$ ) fue satisfecha, se registra una violación.
Análisis de Fallos y Descubrimiento Adaptativo:
- Localización de Características: Para identificar los factores semánticos específicos que causan los fallos, SeFaR utiliza un Modelo de Lenguaje-Visión (VLM) (específicamente Qwen2.5-VL) para analizar pares de imágenes originales y perturbadas. El VLM es instruido para describir las diferencias en lenguaje natural.
- Agregación Semántica: Las descripciones textuales de los cambios se embeben usando un transformer de oraciones y se agrupan para identificar conceptos comunes que inducen fallos. Este proceso puede descubrir características previamente desconocidas (ej. el color "turquesa" o el clima de "tormenta de polvo") que no estaban presentes en la jerarquía inicial definida por el usuario.
- Refinamiento Iterativo: El marco adopta un proceso adaptativo impulsado por retroalimentación. Los rasgos de fallo detectados se utilizan para refinar la jerarquía de características para rondas subsecuentes, ya sea eliminando características robustas, despriorizando características de bajo riesgo o explorando rutas más profundas en el árbol para las características que causaron fallos.

3. Principales Contribuciones

El artículo detalla cinco contribuciones primarias:

Marco de Trabajo SeFaR: Un marco de pruebas sistemático y centrado en características semánticas que evalúa la robustez de modelos de visión frente a variaciones de características semánticas ortogonales a los requisitos.
Modelo de Conceptos Jerárquico: Una representación estructurada (FFT) que facilita la exploración del espacio de características semánticas, acomoda el conocimiento de dominio definido por el usuario y soporta el descubrimiento de características no especificadas.
Generación Basada en Difusión: El uso de modelos de difusión para generar variaciones semánticas fotorealistas que preserven los requisitos para detectar la falta de robustez en escenarios realistas y raros.
Descubrimiento Adaptativo: Un mecanismo para descubrir explicaciones de fallos orientadas a características mediante el análisis semántico basado en VQA, generando conjuntos de prueba que evidencian la no-robustez de las características del modelo.
Evidencia Empírica: Demostración de la aplicabilidad de SeFaR a través de tres casos de estudio distintos, mostrando su capacidad para satisfacer las precondiciones de los requisitos e identificar nuevas características que influyen en las decisiones del modelo.

4. Evaluación y Resultados

Los autores evaluaron SeFAr en tres conjuntos de datos que representan diferentes entornos operativos:

SGSM: Conducción autónoma (simulador CARLA) con requisitos derivados del Código de Conducción de Virginia.
RRAV: Navegación de rover de la NASA en carreteras de campus (evitación de obstáculos para conos y peatones).
AI4MARS: Navegación de terreno de Marte (identificación de rocas grandes).

Hallazgos Clave:

Preservación de la Precondición (RQ1): SeFaR logró consistentemente una alta satisfacción de la precondición (promedio de 93.4% en los datasets). Esto confirma la capacidad del marco para perturbar características semánticas sin violar las precondiciones de los requisitos de seguridad.
Revelación de Robustez (RQ2): El marco reveló eficazmente las características semánticas para las cuales los modelos no eran robustos.
- En el caso SGSM, colores de vehículos específicos (Verde, Azul) y tipos (Camión) causaron tasas de fallo significativas (ej. 39.7% de fallo para vehículos Verdes).
- En AI4MARS, se identificó la "Tormenta de Polvo" como una condición climática que induce fallos, un escenario que no estaba presente en los datos de entrenamiento originales.
- Los cambios semánticos combinados (ej. Iluminación + Poste de Semáforo) a menudo amplificaron la vulnerabilidad del modelo, alcanzando tasas de fallo superiores al 50% en combinaciones específicas.
Descubrimiento de Características Desconocidas: El análisis identificó con éxito características que no estaban en el modelo inicial definido por el usuario, tales como tonos de color específicos (Turquesa) y condiciones ambientales (Tormenta de Polvo), demostrando la capacidad del marco para descubrir comportamientos frágiles.

5. Significación y Reivindicaciones

El artículo afirma que SeFaR proporciona una combinación novedosa de modelado semántico jerárquico, generación basada en difusión y exploración guiada por retroalimentación. Su significación radica en:

Descubrimiento Sistemático: Permite el descubrimiento sistemático de escenarios que pueden causar fallos críticos de seguridad en despliegues del mundo real, específicamente aquellos inducidos por variaciones semánticas raras o subrepresentadas.
Explicabilidad: Relaciona los fallos descubiertos directamente con características semánticas específicas, proporcionando retroalimentación accionable a los desarrolladores sobre las causas de la falta de robustez.
Utilidad Práctica: Posiciona a SeFaR como una herramienta práctica para mejorar la fiabilidad de los sistemas basados en visión, pasando de las pruebas a nivel de píxel a la evaluación de robustez a nivel semántico.

Los autores mantienen un tono modesto respecto a las amenazas a la validez, reconociendo que la efectividad del marco depende de la calidad de los modelos fundacionales subyacentes y las estrategias de prompting, y que estudios más amplios que aprovechen ontologías de dominio escritas por expertos son el siguiente paso natural.