Resumen Técnico: Inversiones de Preferencia en Redes Neuronales bajo Incompatibilidad de Gram

1. Planteamiento del Problema

Las redes neuronales dependen cada vez más de la agrupación de datos heterogéneos (diferentes poblaciones, periodos de tiempo o condiciones operativas) para mejorar la generalización. Sin embargo, existe una brecha crítica de fiabilidad: si bien la agrupación expande la base de evidencia, puede revertir los ordenamientos de acciones que están consistentemente respaldados por fuentes individuales.

Las métricas de precisión agregada estándar no logran detectar este problema porque miden el rendimiento predictivo en lugar de la consistencia de los rankings relativos de las acciones. Un modelo reajustado con datos agrupados puede revertir una preferencia acordada por todos los modelos de origen sin que se produzca una caída en la precisión general. Este artículo aborda las condiciones bajo las cuales falla la preservación de la preferencia composicional. Específicamente, investiga por qué y cuándo un modelo agrupado, entrenado con representaciones fijas y cabezales de salida de Mínimos Cuadrados Ordinarios (OLS), revierte una preferencia estricta por pares respaldada por ambos conjuntos de datos de origen.

El problema se formaliza a través de la Teoría de la Decisión Basada en Casos (CBDT), específicamente su axioma de composición (A2), que requiere que un ordenamiento respaldado por ambas memorias de origen sobreviva a su unión. El artículo postula que el fallo de este axioma en las redes neuronales es impulsado por la incompatibilidad de Gram —el desalineamiento geométrico de las matrices inversas de Gram utilizadas para ponderar la evidencia de las fuentes.

2. Metodología

Marco Teórico

Los autores analizan redes neuronales de representación fija donde el extractor de características $\phi$ está congelado y solo se ajustan los cabezales de lectura OLS.

• Márgenes de Origen: Para una fuente $j$, el margen de preferencia entre las acciones $a$ y $b$ se define como $\Delta_{j}(x) = \phi(x)^\top G_j^{-1} \Phi_j^\top d_j(a,b)$, donde $G_j$ es la matriz de Gram no centrada de la fuente $j$.
• Margen Agrupado: Al agrupar fuentes, la matriz de Gram se convierte en $G_1 + G_2$, y los vectores de evidencia se suman. El margen agrupado es $\Delta_{12}(x) = \phi(x)^\top (G_1 + G_2)^{-1} (\Phi_1^\top d_1 + \Phi_2^\top d_2)$.
• Mecanismo de Reversión: El artículo demuestra que incluso si $\Delta_1 > 0$ y $\Delta_2 > 0$, la geometría inversa recomputada $(G_1 + G_2)^{-1}$ puede rotar o reponderar la evidencia combinada de tal manera que $\Delta_{12} < 0$. Esto ocurre cuando $G_1$ y $G_2$ no son múltiplos escalares entre sí (incompatibilidad de Gram).

Resultados Analíticos

• Preservación Exacta: Si $G_1 = \kappa_1 G_0$ y $G_2 = \kappa_2 G_0$ (alineación escalar), el margen agrupado es una combinación convexa de los márgenes de origen, lo que garantiza la preservación.
• Preservación Aproximada: Para alineaciones no escalares, los autores derivan una garantía dependiente del margen. Definen una medida de desajuste de Gram invariante de escala, $\delta_{norm}(G_1, G_2) = \|\tilde{G}_1 - \tilde{G}_2\|_F$, donde $\tilde{G}$ es la matriz de Gram normalizada por la norma de Frobenius.
• Certificado de Estabilidad: Se deriva una condición suficiente para la preservación (Corolario 1), vinculando el desajuste normalizado, los márgenes de origen, las normas de evidencia y el condicionamiento. Si el margen ponderado de la fuente supera un término de penalización proporcional al desajuste, el ordenamiento se preserva.

Herramientas Operativas

1. Tamizaje (Screening): Se introduce una medida de desajuste de Gram invariante de escala para priorizar los grupos candidatos para auditoría antes del reajuste.
2. Regularización: Se proponen dos objetivos orientados a la geometría para el entrenamiento:
   • Blanqueo de Gram (Gram Whitening): Fomenta que los lotes de origen se alineen con una referencia de identidad compartida.
   • Alineación Directa (Direct Alignment): Fomenta que la dirección de la matriz de Gram de una fuente se alinee con una referencia congelada de una etapa de menor demanda.
3. Auditoría de Tres Etapas: Un marco para rastrear el impacto de las reversiones:
   • Etapa 1: Tasa de reversión estricta por pares (consistencia A2).
   • Etapa 2: Tasa de cambio de decisión (consultas donde el modelo agrupado selecciona una acción diferente al consenso de las fuentes).
   • Etapa 3: Pérdida de utilidad definida por la tarea (cambios de decisión perjudiciales frente a beneficiosos).

3. Contribuciones Clave

1. Formalización de la Fiabilidad Composicional: El artículo formaliza la fiabilidad del reajuste tras la agrupación como la preservación de la preferencia composicional para redes OLS de representación fija, demostando que la recomposición de la inversa de Gram puede revertir las preferencias compartidas.
2. Caracterización Geométrica: Identifica la incompatibilidad de Gram como la causa raíz de las reversiones y deriva condiciones de preservación exacta (alineación escalar) y aproximada (dependiente del margen).
3. Marco Operativo: Introduce una medida de desajuste de Gram invariante de escala para el tamizaje y regularizadores orientados a la geometría para el entrenamiento.
4. Auditoría de Consecuencias: Desarrolla una auditoría de tres etapas que separa las reversiones formales por pares de los cambios de decisión reales y las pérdidas de utilidad específicas de la tarea, demostrando que no todas las reversiones son perjudiciales, pero existe una clase medible de decisiones dañinas.

4. Resultados Experimentales

Estudio de Mecanismo Controlado

En un entorno controlado, los autores muestran una fuerte correlación negativa ($-0.903$) entre el desajuste de Gram normalizado y la consistencia estricta de A2. A medida que el desajuste aumenta, la consistencia estricta cae bruscamente, observándose un punto de transición alrededor de un valor de desajuste de 1.07–1.27, confirmando que la incompatibilidad de Gram induce reversiones de preferencia.

Proxy de Puja Basado en Carga

Utilizando un proxy de puja basado en carga, el estudio rastrea la cadena de consecuencias:

• Tasa de Reversión: El 1.80% de los pares consulta-acción elegibles experimentaron reversiones estrictas por pares.
• Cambio de Decisión: El 1.12% de las consultas con consenso de origen resultaron en una decisión agrupada cambiada.
• Daño: De los cambios de decisión, el 53.64% fueron perjudiciales en relación con el consenso de origen. Esto establece una clase medible y no nula de decisiones dañinas derivadas del fallo composicional.

Puntos de Operación Geometría–Decisión

Los experimentos que comparan métodos de regularización (Sin regularización, Blanqueo de Gram, Alineación Directa, Decaimiento de peso) revelan distintos puntos de operación:

• Blanqueo de Gram ($\lambda_{reg}=0.01$) logró la mayor precisión y la mayor consistencia estricta de A2, pero no redujo significativamente la tasa de daño en comparación con el modelo base.
• Alineación Directa ($\lambda_{reg}=0.1$) mostró la menor tasa de daño, pero una precisión ligeramente inferior.
• Conclusión: Un menor desajuste geomético no garantiza automáticamente un menor daño en la decisión; diferentes objetivos intercambian precisión, consistencia, geometría y daño.

Alcance Transdominio (Médico y Financiero)

Las auditorías en los conjuntos de datos UCI Heart Disease y Credit Card Default mostraron que desajustes de Gram comparables pueden conducir a tasas de preservación muy diferentes (por ejemplo, 99.91% frente a 89.22% de consistencia). Esto confirma que el desajuste es una herramienta útil para priorizar auditorías, pero es insuficiente como predictor independiente de fallo sin considerar los márgenes de origen y el condicionamiento.

5. Significado y Reivindicaciones

El artículo afirma hacer que la fiabilidad composicional sea medible y operativa. Al vincular la geometría abstracta de las matrices de Gram con las consecuencias concretas de las decisiones, los autores proporcionan un marco para:

• Tamizaje (Screening): Identificar grupos de datos de alto riesgo antes del reajuste utilizando la métrica $\delta_{norm}$.
• Certificación: Utilizar condiciones analíticas para certificar la preservación para pares de consulta-acción específicos.
• Entrenamiento: Moldear la geometría de la fuente durante el entrenamiento para mitigar la incompatibilidad.
• Auditoría: Rastrear la cadena completa desde el desajuste geométrico hasta la pérdida de utilidad.

Los autores afirman modestamente que su marco no elimina todos los fallos, sino que proporciona las herramientas necesarias para detectar, cuantificar y mitigar la clase específica de "reversiones de preferencia" causadas por la incompatibilidad de Gram en sistemas de decisión neuronal agrupados. Enfatizan que la precisión agregada es un proxy inadecuado para la consistencia composicional y que la auditoría a nivel de decisión es esencial para una integración de múltiples fuentes fiable.