On the Decompositionality of Neural Networks

Resumen Técnico: Descomponibilidad de las Redes Neuronales

1. El Problema: La Falta de Modularidad Semántica

A pesar de los avances recientes en redes neuronales profundas (DNN) para visión y procesamiento de lenguaje natural (NLP), la mayoría de los modelos se tratan como funciones monolíticas de caja negra. Esto limita la mantenibilidad, la optimización por componentes y la verificación sistemática.

• Limitación de los enfoques actuales: Las técnicas existentes de poda (pruning) y descomposición son principalmente empíricas y estructurales. Evalúan la calidad de la descomposición basándose en la precisión agregada (accuracy) en conjuntos de prueba.
• La brecha fundamental: Mantener la precisión en datos de prueba no garantiza la preservación del comportamiento semántico, especialmente cerca de las fronteras de decisión (decision boundaries), donde ocurren las transiciones entre clases. Dos modelos pueden tener la misma precisión global pero geometrías de fronteras de decisión radicalmente diferentes, lo que lleva a inconsistencias semánticas en regiones críticas.
• La pregunta central: ¿Cuándo admite una red neuronal una descomposición semánticamente significativa? El artículo argumenta que la descomponibilidad no es un procedimiento, sino una propiedad intrínseca del modelo.

2. Metodología y Marco Teórico

Los autores proponen un marco formal que redefine la descomposición como un contrato semántico-estructural.

A. Definición Formal de Descomponibilidad
La descomponibilidad se define mediante dos condiciones ortogonales que deben cumplirse simultáneamente:

1. Fidelidad Semántica Consciente de la Frontera (Boundary-Aware Semantic Fidelity):

   • En lugar de exigir equivalencia funcional global (que es inviable), se exige que el modelo descompuesto preserve el comportamiento del modelo original en un entorno $\tau$ de la frontera de decisión ($N_\tau$).
   • Se mide mediante la probabilidad de desacuerdo condicional ($Dis_\tau$) dentro de esta vecindad. Si el desacuerdo es menor a un umbral $\epsilon$, se considera que la semántica se ha preservado.
   • Teorema de Preservación: Si se preserva la semántica cerca de la frontera, la probabilidad de error global está acotada.

2. Divergencia Estructural (Structural Divergence):

   • Para evitar soluciones triviales (como copiar el modelo original múltiples veces), los componentes resultantes deben ser estructuralmente distintos.
   • Disjunción Estructural: La superposición de los soportes estructurales (neurones, canales o parámetros) entre componentes debe ser baja (umbral $\gamma$).
   • Reducción No Trivial: Cada componente debe ser significativamente más pequeño que el modelo original (umbral $\eta$).

B. Abstracción Local (De Global a Local)
Dado que verificar la descomponibilidad en todo el espacio de entrada continuo es computacionalmente intratable, los autores introducen una abstracción basada en márgenes de logits:

• Se aproximan las regiones de la frontera de decisión utilizando muestras con márgenes de logits bajos (inputs donde la clasificación es incierta).
• Se define la Descomponibilidad Local sobre un conjunto de datos finito, permitiendo la evaluación empírica mediante muestreo probabilístico.

C. El Framework SAVED (Semantic-Aware Verification-Driven Decomposition)
Para operacionalizar esta definición, se presenta SAVED, un framework de cuatro etapas:

1. Descomposición Estructural: Creación de componentes binarios por clase.
2. Generación de Inputs Conscientes de la Frontera: Uso de métodos adversarios (PGD) seguidos de refinamiento por búsqueda binaria para generar muestras cercanas a la frontera de decisión.
3. Refinamiento Semántico-Estructural (LBMask): Aprendizaje de máscaras binarias estructuradas (por neurona o canal) sobre los pesos congelados del modelo. Se optimiza para:
   • Minimizar el error en las muestras de la frontera (fidelidad semántica).
   • Maximizar la separación entre las máscaras de diferentes clases (divergencia estructural).
4. Evaluación del Contrato: Verificación empírica de que se cumplen los umbrales de desacuerdo ($\epsilon$), superposición ($\gamma$) y reducción ($\eta$).

3. Resultados Empíricos

El estudio evalúa SAVED en tres familias de modelos: Transformadores de Lenguaje (BERT), CNNs (ResNet) y Vision Transformers (ViT/DeiT).

• RQ1: Realizabilidad: La descomponibilidad es una propiedad realizable pero condicional.

  • Éxito: En BERT (tarea DBPedia-14), el framework logra satisfacer el contrato completo: baja discrepancia semántica en la frontera y componentes estructuralmente distintos.
  • Fallo: En AG News (BERT) y modelos de visión, el contrato falla. En AG News, la fidelidad semántica se rompe; en visión, la separación estructural es imposible sin destruir la semántica.

• RQ2: Necesidad de ambas métricas:

  • Los métodos de poda estándar (como Wanda) pueden preservar la semántica (bajo error) pero fallan estructuralmente (alta superposición de componentes, colapso a la misma subred).
  • Los métodos estructurales puros pueden reducir el tamaño pero destruyen la semántica en la frontera.
  • Conclusión: Solo la combinación de fidelidad semántica y divergencia estructural define una descomposición válida.

• RQ3: Dependencia de la Arquitectura:

  • NLP (Transformadores): Muestran una alta capacidad de descomponibilidad. La información discriminativa de clase parece estar codificada en componentes dispersos y específicos.
  • Visión (CNNs y ViT): Exhiben una barrera intrínseca. La información de clase está distribuida densamente y entrelazada en las representaciones. Intentar separar componentes estructuralmente destruye la precisión en la frontera de decisión. Existe un compromiso (trade-off) inevitable: mejorar la separación estructural aumenta el error semántico.

4. Contribuciones Clave

1. Definición Formal de Descomponibilidad: Se introduce por primera vez una definición semántica y estructurada de cuándo una red neuronal puede descomponerse, basada en la preservación de la frontera de decisión en lugar de la precisión agregada.
2. Marco de Evaluación SAVED: Un framework práctico que combina generación de datos de frontera, aprendizaje de máscaras estructuradas y verificación de contratos para validar la descomponibilidad.
3. Insights Arquitectónicos: Se demuestra empíricamente que la descomponibilidad no es universal. Existe una división clara: los modelos de lenguaje son inherentemente más modulares, mientras que los modelos de visión presentan barreras estructurales para la descomposición semántica.
4. Impacto en Verificación: Se demuestra que cuando la descomponibilidad se cumple, permite escalar tareas de verificación formal, ya que se pueden verificar componentes más pequeños en lugar del modelo monolítico.

5. Significado e Implicaciones

Este trabajo cambia el paradigma de ver la descomposición de redes neuronales como un simple ejercicio de compresión o poda. Al establecer que la descomponibilidad es una propiedad del modelo (y no solo del algoritmo de poda), el artículo:

• Expone las limitaciones de las técnicas actuales de modularización que ignoran la semántica.
• Sugiere que para lograr redes neuronales verdaderamente modulares en visión, se necesitarán nuevas estrategias de entrenamiento consciente de la descomposición (decomposition-aware training) o arquitecturas que fomenten representaciones dispersas y separables.
• Proporciona una base teórica sólida para el razonamiento modular, la reparación de componentes y la verificación formal de sistemas de IA críticos.

En resumen, el paper establece que la "descomponibilidad" es un contrato verificable entre la estructura y la semántica, y que su cumplimiento depende fundamentalmente de cómo la arquitectura organiza la información discriminativa durante el entrenamiento.