Resumen Técnico: NASH - Agregación No Lineal de Componentes Informativos de SHapley

Enunciado del Problema

La selección de datos tiene como objetivo identificar subconjuntos de alta calidad de datos de entrenamiento para optimizar la utilidad del modelo (por ejemplo, la precisión de validación $u_V$) bajo restricciones de tamaño. Aunque Data Shapley y sus generalizaciones (semivalores) están fundamentados teóricamente en la teoría de juegos cooperativos para tener en cuenta las interacciones de los datos, estudios empíricos recientes indican que a menudo funcionan de manera ineficaz en la práctica. Específicamente, seleccionar los $m$ puntos de datos principales basándose en valores de Shapley calculados con respecto a funciones de utilidad complejas (como la precisión de validación) puede producir subconjuntos que no son mejores, o incluso peores, que la selección aleatoria.

El artículo identifica dos razones principales para este fracaso:

1. Falta de informatividad de Shapley: Las funciones de utilidad complejas implican múltiples "roles" distintos (por ejemplo, diferentes clases o subpoblaciones en el conjunto de validación). Un único valor de Shapley para un dato no logra capturar su fortaleza única a través de estos roles. En consecuencia, datos con diferentes fortalezas pueden recibir puntuaciones de Shapley idénticas, lo que lleva a un tratamiento intercambiable a pesar de sus diferentes contribuciones de utilidad.
2. Agregación Inadecuada: El objetivo real (por ejemplo, la precisión de validación) agrega el rendimiento a través de estos roles de manera no lineal. Sin embargo, la heurística estándar de los $m$ principales se basa en una agregación lineal (sumando valores de Shapley), lo que falla en capturar las interacciones sinérgicas donde la contribución de un dato depende de qué otros datos ya han sido seleccionados (por ejemplo, un dato es más valioso si cubre un rol subrepresentado).

Metodología: Marco NASH

Los autores proponen NASH (Agregación No Lineal de Componentes Informativos de SHapley), un marco que descompone la función de utilidad compleja en componentes más simples donde los valores de Shapley son efectivos, y luego los agrega de manera no lineal.

1. Informatividad de Shapley y Descomposición

El artículo formaliza la informatividad de Shapley como una propiedad donde la suma de los valores de Shapley para un subconjunto es indicativa de su utilidad real. Los autores demuestran que las funciones de utilidad arbitrarias generalmente no son informativas de Shapley. Sin embargo, demuestran que las funciones de utilidad más simples, específicamente la corrección de predicción en un único dato de validación ($u_v$), son demostrablemente informativas de Shapley bajo el supuesto de "Jugador Consistente" (donde un dato es consistentemente bueno o malo para un punto de validación específico).

En lugar de calcular valores de Shapley para la precisión de validación agregada $u_V$, NASH descompone $u_V$ en componentes individuales $u_v$ para cada dato de validación $v \in V$. Los valores de Shapley $\phi_i(u_v)$ se calculan para estos componentes más simples. Cabe destacar que calcular estos vectores no conlleva un costo de tiempo de ejecución adicional en comparación con calcular el valor de Shapley para el agregado $u_V$, ya que $u_V$ es simplemente el promedio de $u_v$.

2. Agregación No Lineal

Para reconstruir el objetivo complejo a partir de estos componentes informativos, NASH evita la suma lineal (que recupera la heurística defectuosa de los $m$ principales de Shapley). En su lugar, optimiza un objetivo de agregación no lineal:
$$\max_{M \subseteq N, |M|=m} \sum_{v \in V} F_T(\hat{u}_v(M))$$
donde $\hat{u}_v(M) = \sum_{i \in M} \phi_i(u_v)$ es la suma de los valores de Shapley para el componente $v$, y $F_T$ es una función de distribución acumulativa (CDF) inspirada en curvas de aprendizaje (por ejemplo, una ley exponencial). Esta función no lineal asegura que el proceso de selección priorice los datos que ayudan a "cruzar el umbral" para puntos de validación mal predichos (roles no cubiertos) en lugar de acumular puntuaciones altas en puntos ya bien predichos.

3. Optimización

El objetivo de NASH se optimiza utilizando un algoritmo codicioso. Los autores muestran que cuando los valores de Shapley son no negativos, el objetivo es submodular monótono, garantizando una aproximación de $(1 - 1/e)$. Incluso con valores negativos (debido a datos ruidosos), el algoritmo codicioso funciona bien empíricamente porque los datos dañinos (que causan la no submodularidad) se despriorizan naturalmente. El algoritmo introduce un costo de tiempo de ejecución adicional mínimo, ya que el trabajo pesado (aproximación de Shapley) se comparte con los métodos existentes.

Contribuciones Clave

1. Análisis Teórico: El artículo formaliza la propiedad de informatividad de Shapley, explicando por qué las funciones de utilidad complejas de ML (como la precisión de validación) no satisfacen esta propiedad, lo que lleva al rendimiento inconsistente de Data Shapley.
2. Componentes Demostrablemente Informativos: Los autores identifican y demuestran que la corrección de predicción en puntos individuales de datos de validación sirve como componentes informativos de Shapley bajo supuestos razonables.
3. Marco NASH: Un nuevo marco de selección de datos que descompone objetivos complejos en componentes informativos de Shapley y los agrega de manera no lineal para seleccionar subconjuntos de alta calidad.
4. Validación Empírica: Experimentos extensos en conjuntos de datos estándar (regresión logística, KNN) y ajuste fino de modelos de lenguaje a gran escala (BERT, Llama-2) demuestran que NASH supera consistentemente a Data Shapley vanilla, otros semivalores y la selección aleatoria.

Resultados

• Selección General de Datos: En configuraciones sin ruido inyectado (calidad homogénea), Data Shapley vanilla a menudo no funciona mejor que la selección aleatoria. NASH aumenta sustancialmente el rendimiento en estos escenarios, superando consistentemente a las líneas base en diversas proporciones de selección.
• Conjuntos de Datos de Calidad Heterogénea: En configuraciones con ruido en las etiquetas, Data Shapley vanilla mejora (ya que puede distinguir datos malos), pero NASH sigue superándolo consistentemente. Esto sugiere que los beneficios de NASH (manejo de interacciones de roles) son distintos y complementarios a la capacidad de Data Shapley para filtrar ruido.
• Compatibilidad: NASH es compatible con varios semivalores (por ejemplo, Beta Shapley, Data Banzhaf) y métodos de aproximación eficientes (por ejemplo, muestreo MC, FreeShap), mejorando consistentemente su rendimiento de selección.
• Robustez: El método es robusto ante la elección del hiperparámetro $\lambda$ en la función de agregación y funciona efectivamente con diferentes funciones de utilidad (por ejemplo, pérdida de validación, MSE).

Significado

El artículo afirma que NASH elimina en gran medida la restricción de que Data Shapley/semivalores solo son efectivos en conjuntos de datos limitados o configuraciones específicas (por ejemplo, aquellos con ruido inyectado). Al proporcionar un marco que hace que la selección basada en Shapley sea consistentemente confiable y robusta a través de diversos conjuntos de datos y escalas de modelos, NASH permite una adopción más amplia de métodos de valoración de datos principistas. Este avance apoya la investigación futura en la mejora de la eficiencia de aproximación y la selección de datos para modelos fundamentales, asegurando que los beneficios teóricos de los valores de Shapley (interacción no miope y equidad) se materialicen en la práctica.