On the Impact of the Utility in Semivalue-based Data Valuation

Este artículo introduce la "firma espacial" de un conjunto de datos como una herramienta geométrica para evaluar y garantizar la robustez de la valoración de datos basada en semivalores frente a cambios en la función de utilidad, ofreciendo una métrica práctica para que los profesionales comprendan cómo estas variaciones afectan los resultados.

Lo esencial

¡Hola! Imagina que tienes un equipo de trabajo (un modelo de inteligencia artificial) y quieres saber qué tan valioso es cada miembro de ese equipo para lograr un buen resultado. ¿Quién aporta más? ¿Quién es el que realmente hace la diferencia?

En el mundo de la Inteligencia Artificial, esto se llama valoración de datos. Los investigadores usan matemáticas complejas (llamadas "semivalores") para dar una puntuación a cada dato, como si fuera un informe de rendimiento.

Pero aquí surge un problema gigante, y es lo que este paper de ICLR 2026 quiere resolver: Depende de cómo midas el éxito, la puntuación de cada dato cambia drásticamente.

Vamos a explicarlo con una analogía sencilla:

🍕 La Analogía de la Pizzería

Imagina que eres el dueño de una pizzería y tienes 100 ingredientes (tus datos). Quieres saber cuáles son los mejores para hacer una pizza increíble.

1. El Problema de la "Utilidad" (La Definición de Éxito):

   • Si tu definición de "pizza perfecta" es "la que más se vende" (precisión), quizás valoras mucho el pepperoni.
   • Pero si tu definición cambia a "la que tiene el mejor equilibrio entre sabor y salud" (un compromiso entre dos cosas), quizás el pepperoni deja de ser el rey y la rúcula se vuelve la estrella.
   • El dilema: En el mundo real, a veces no sabemos cuál es la única métrica correcta. ¿Deberíamos medir por ventas, por satisfacción del cliente o por salud? Si cambiamos la regla del juego (la métrica), el ranking de los ingredientes cambia. ¡El pepperoni pasa de ser el #1 al #50!

2. La Solución de los Autores: El "Huella Espacial" (Spatial Signature)
   Los autores dicen: "¡Alto! No necesitamos adivinar. Podemos ver la geometría de la situación".

   • Imagina que cada ingrediente es un punto en un mapa.
   • Si dibujas la posición de todos los ingredientes en este mapa, verás una forma. A esto lo llaman "Huella Espacial".
   • La magia: Si los puntos están todos alineados en una sola línea recta, da igual cómo mires el mapa (qué métrica uses), el orden de los ingredientes será casi el mismo. Pero si los puntos están esparcidos en todas direcciones como un caos, cambiar la métrica cambiará totalmente el orden.

3. La Brújula de Robustez (El Nuevo Métrico)
   Los autores crearon una herramienta (un "métrico de robustez") que funciona como una brújula.

   • Esta brújula te dice: "Oye, si cambias un poco tu definición de éxito, ¿se va a desordenar todo tu equipo?"
   • Si la brújula marca alta robustez: ¡Genial! Puedes elegir cualquier métrica y tu lista de "ingredientes estrella" será estable.
   • Si marca baja robustez: ¡Cuidado! Tu lista es muy frágil. Un pequeño cambio en lo que consideras "bueno" y tu equipo de élite se desmorona.

🏆 El Gran Descubrimiento: El Héroe Inesperado

En el mundo de las matemáticas de datos, hay tres métodos famosos para hacer este cálculo:

1. Shapley: El clásico, muy justo pero a veces inestable.
2. Beta Shapley: Una versión ajustable.
3. Banzhaf: ¡El ganador inesperado!

Los autores descubrieron que el método Banzhaf es como un ancla.

• Cuando usan Banzhaf, los puntos en su "Huella Espacial" tienden a alinearse casi perfectamente en una línea recta.
• Resultado: No importa si cambias la métrica de "ventas" a "salud", el ranking de los datos se mantiene muy estable. Banzhaf es mucho más robusto (resistente a cambios) que los otros dos.

💡 ¿Por qué te importa esto?

Si eres un científico de datos o un ingeniero:

• Antes, podías estar perdiendo tiempo y dinero reentrenando modelos porque cambiaste una pequeña preferencia en cómo medías el éxito.
• Ahora, con esta nueva herramienta, puedes preguntar antes de actuar: "¿Es mi lista de datos importantes estable o es un castillo de naipes?"
• Si la respuesta es "inestable", sabes que necesitas ser muy cuidadoso con tu elección de métrica o usar el método Banzhaf para tener más confianza.

En resumen:
Este paper nos da un "termómetro" para medir si nuestra forma de valorar los datos es sólida o si es solo un capricho de la métrica que elegimos. Y nos enseña que, a veces, el método más antiguo y menos obvio (Banzhaf) es el más confiable para mantener el orden en el caos.

Resumen técnico

Resumen Técnico: Impacto de la Utilidad en la Valoración de Datos Basada en Semivalores

1. Planteamiento del Problema

La valoración de datos (data valuation) busca cuantificar la contribución de cada punto de datos a una tarea de aprendizaje automático (ML) subyacente. Un enfoque popular utiliza la teoría de juegos cooperativos, específicamente los semivalores (como el Valor de Shapley, Beta Shapley o Banzhaf), que asignan puntuaciones basadas en las contribuciones marginales de los datos a diferentes subconjuntos.

Sin embargo, estos valores dependen críticamente de la función de utilidad ($u$) elegida por el practicante, la cual mide el rendimiento del modelo (ej. precisión, F1-score, pérdida). El problema central identificado en el artículo es la robustez:

• Escenario de Compensación de Utilidad: Cuando la utilidad es una combinación convexa de criterios (ej. helpfulness vs. harmlessness en LLMs), ¿cómo cambian las valoraciones si se alteran los pesos de la compensación?
• Escenario de Múltiples Utilidades Válidas: En tareas abiertas (ej. clasificación binaria), existen múltiples métricas válidas (precisión, recall, F1) que no están dictadas unívocamente por la tarea. ¿Son consistentes las valoraciones de datos entre estas métricas?

El artículo demuestra empíricamente que, en muchos casos, el ordenamiento de los datos cambia drásticamente según la utilidad elegida, lo que hace que la valoración de datos sea un heurístico poco fiable si no se evalúa su estabilidad.

2. Metodología Propuesta

Los autores proponen un marco unificado basado en una representación geométrica para analizar y cuantificar esta robustez.

A. Firma Espacial (Spatial Signature)
Utilizando la propiedad de linealidad de los semivalores, los autores demuestran que es posible mapear cada punto de datos $z_i$ en un espacio de dimensión inferior (generalmente $\mathbb{R}^2$ para dos utilidades base).

• Dado un semivalue con vector de pesos $\omega$ y dos utilidades base $u_1, u_2$, se define un mapa $\psi_{\omega, D}: D \to \mathbb{R}^2$.
• La puntuación de un punto bajo una utilidad combinada $u_\alpha = \alpha_1 u_1 + \alpha_2 u_2$ se convierte en un producto escalar:
  $$\phi(z_i; \omega, u_\alpha) = \langle \psi_{\omega, D}(z_i), \alpha \rangle$$
• Esto transforma el problema de valoración en un problema geométrico: ordenar los datos equivale a proyectar sus "firmas espaciales" sobre un vector de dirección $\alpha$ (la utilidad) y ordenar las proyecciones.

B. Métrica de Robustez ($R_p$)
Basándose en la firma espacial, se introduce una métrica cuantitativa para medir la estabilidad del ranking ante cambios en la utilidad:

• Concepto: Se mide la distancia geodésica mínima que debe recorrer el vector de utilidad $\alpha$ en la esfera unitaria ($S^1$) antes de que ocurran $p$ intercambios de pares (pairwise swaps) en el ordenamiento de los datos.
• Definición: $R_p$ es la distancia promedio esperada (sobre todas las direcciones de utilidad posibles) necesaria para provocar $p$ intercambios, normalizada por el máximo teórico posible (que ocurre cuando todos los puntos están colineales).
• Interpretación:
  • $R_p \approx 1$: Alta robustez. Se necesita un gran cambio en la utilidad para alterar el ranking.
  • $R_p \approx 0$: Baja robustez. Pequeñas variaciones en la utilidad invierten el orden de los datos.
• Eficiencia: El cálculo de $R_p$ tiene una complejidad de $O(n^2 \log n)$, lo cual es negligible comparado con el costo de entrenar modelos para estimar los semivalores (que suele ser $O(n^2 \log n)$ entrenamientos de modelos).

C. Análisis Teórico de la Alineación
El artículo establece una conexión teórica entre la robustez y la colinealidad de la firma espacial. Se demuestra que la robustez es máxima cuando los puntos mapeados en el espacio de utilidades base están alineados en una línea recta que pasa por el origen. Esto depende de cómo los pesos del semivalue ($\omega$) interactúan con los factores de alineación de las contribuciones marginales de diferentes tamaños de coalición.

3. Contribuciones Clave

1. Modelado Geométrico Unificado: Unificación de los escenarios de "compensación de utilidad" y "múltiples utilidades válidas" bajo una misma representación geométrica en $\mathbb{R}^2$ (o $\mathbb{R}^K$), donde la utilidad es un funcional lineal.
2. Métrica de Robustez Práctica ($R_p$): Introducción de una métrica calculable que informa a los practicantes si sus resultados de valoración de datos son estables ante la elección de la utilidad, evitando inversiones costosas en re-entrenamientos o decisiones erróneas.
3. Insights Analíticos sobre Semivalores: Demostración teórica y empírica de que el Valor de Banzhaf tiende a ofrecer una mayor robustez que Shapley o Beta Shapley. Esto se debe a que los pesos de Banzhaf concentran la masa en tamaños de coalición intermedios donde los factores de alineación entre utilidades son más altos, resultando en firmas espaciales casi colineales.

4. Resultados Empíricos

Los autores validaron su metodología en múltiples conjuntos de datos públicos (clasificación binaria, multiclase y regresión) y tres semivalores populares (Shapley, (4,1)-Beta Shapley, Banzhaf).

• Correlación con Métricas de Ranking: Existe una fuerte concordancia entre la métrica $R_p$ y las correlaciones de rango tradicionales (Kendall y Spearman). Los casos con baja correlación de rango entre utilidades (ej. Precisión vs. F1 en el dataset TITANIC) muestran puntuaciones $R_p$ bajas.
• Superioridad de Banzhaf: En casi todos los experimentos, el semivalue Banzhaf obtuvo las puntuaciones de robustez más altas.
  • Ejemplo visual: Las firmas espaciales de Banzhaf muestran una alineación casi perfecta de los puntos a lo largo de una línea, mientras que Shapley y Beta Shapley muestran una dispersión mayor.
• Escenarios de Compensación: En tareas de regresión y clasificación multiclase con combinaciones de métricas (ej. MSE/MAE, Precisión/Recall), Banzhaf mantuvo rankings más estables a medida que variaban los pesos de la utilidad.
• Estabilidad Top-k: La métrica $R_p$ también se correlacionó positivamente con métricas de estabilidad de los $k$ mejores elementos (Overlap@k y Jaccard@k), confirmando que una alta robustez implica que la selección de datos más valiosos es consistente.

5. Significado e Impacto

Este trabajo es fundamental para la práctica de la valoración de datos por varias razones:

• Diagnóstico de Fiabilidad: Proporciona a los ingenieros de ML una herramienta para determinar antes de actuar si la valoración de datos es un heurístico confiable para su contexto específico. Si $R_p$ es bajo, la elección de la utilidad es arbitraria y los rankings no deben usarse para tomar decisiones críticas (como limpieza de datos o selección de subconjuntos).
• Guía para la Selección de Semivalores: Sugiere que, cuando la utilidad es ambigua o sujeta a cambios, el uso del Valor de Banzhaf puede ser preferible al Valor de Shapley debido a su mayor invariancia ante cambios en la métrica de rendimiento.
• Prevención de Costos: En escenarios de ajuste fino (fine-tuning) donde se busca un equilibrio entre objetivos, cuantificar la robustez evita el riesgo de re-entrenar modelos costosos basados en subconjuntos de datos que podrían dejar de ser óptimos con un ligero cambio en la definición de "éxito".

En conclusión, el artículo transforma la valoración de datos de un proceso puramente computacional a uno geométrico y analítico, permitiendo medir y garantizar la estabilidad de las decisiones basadas en datos frente a la incertidumbre en la definición de la utilidad.