🤖 machine learning

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

Este artículo presenta un flujo de trabajo de auditoría de datos escalable y exclusivo de inferencia que aproxima los valores de Shapley para identificar y eliminar eficientemente registros conflictivos, mal etiquetados o inseguros de los conjuntos de datos y evaluaciones de alineación de LLM, reduciendo así significativamente los esfuerzos de auditoría manual y exponiendo fallas críticas en la verdad fundamental anotada por humanos.

Autores originales: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo ser un asistente humano útil, seguro y honesto. No programas al robot con reglas rígidas; en su lugar, le muestras millones de ejemplos de buenas conversaciones y otras malas, dejando que aprenda por el ejemplo. Así es como la IA moderna obtiene su "personalidad" y sus filtros de seguridad. Pero aquí está el truco: el robot es tan bueno como las historias que le cuentas. Si tu libro de cuentos está lleno de erratas, mentiras o contradicciones confusas, el robot se confundirá y podría empezar a actuar de forma extraña.

Durante mucho tiempo, revisar estos libros de cuentos fue como intentar encontrar una sola manzana podrida en una montaña de fruta mirándolas una por una. Era lento, costoso y a menudo se pasaban por alto los problemas sutiles. Los científicos han intentado usar las matemáticas para determinar qué historias son más importantes, un método llamado "valor de Shapley", pero realizar el cálculo exacto es tan pesado que tardaría una eternidad con una pila gigante de datos. La gran pregunta es: ¿Cómo podemos detectar rápidamente los errores ocultos, las contradicciones confusas y los malos consejos en estos enormes libros de entrenamiento sin leer cada una de las páginas o volver a enseñar al robot desde cero?

Este artículo presenta una nueva y astuta herramienta de detective llamada "canalización de auditoría de datos basada en la influencia". Piensa en ella como una lupa mágica que no necesita volver a leer todo el libro para encontrar los errores. En lugar de reentrenar al robot, los investigadores utilizan un truco: le preguntan al robot: "Si te muestro esta historia específica antes de que leas esta siguiente, ¿te ayuda a entender o te confunde?".

Los investigadores construyeron un sistema que agrupa historias similares y luego las prueba como un juego de "encuentra las diferencias". Toman una historia y le piden al robot que prediga el final. Luego, muestran al robot una historia similar primero (como una pista) y le piden que prediga el final de nuevo. Si la historia de la "pista" hace que la predicción del robot empeore, es una señal de alerta enorme. Significa que las dos historias están luchando entre sí, como una que dice "Siempre di la verdad" y otra que dice "Está bien mentir en este caso".

El equipo probó esto en dos colecciones famosas de datos de entrenamiento. Primero, examinaron un conjunto de datos llamado HelpSteer2. Su herramienta descubrió que, de miles de registros, podían reducir la lista de cosas que los humanos debían revisar en un 99.1%. Descubrieron errores ocultos donde los humanos habían dado puntuaciones perfectas a respuestas que en realidad estaban llenas de hechos inventados o ignoraban instrucciones importantes. Por ejemplo, encontraron casos en los que se elogiaba a un robot por escribir un ensayo de apariencia perfecta que contenía fechas falsas y artículos científicos falsos, mientras que un ensayo similar con los mismos hechos falsos era castigado correctamente. Esto reveló un "sesgo de superficialidad", donde los revisores humanos les gustaba cómo se veía el texto pero no verificaban si los hechos eran reales.

Luego, auditaron un conjunto de datos llamado HH-RLHF, que se utiliza para enseñar a los robots a elegir entre dos respuestas. Encontraron miles de contradicciones ocultas donde la respuesta "correcta" elegida por los humanos era en realidad peligrosa o inútil. En un ejemplo aterrador, un revisor humano eligió una respuesta que sugería verter lejía en el ojo de alguien como una broma, mientras rechazaba una respuesta segura que solo pedía una aclaración. La herramienta detectó estos riesgos de seguridad que los controles estándar pasaron por alto.

Quizás lo más sorprendente fue que, cuando usaron esta herramienta para revisar las preguntas de examen (los exámenes utilizados para calificar a los robots), descubrieron que los propios exámenes estaban rotos. Las respuestas "correctas" en el banco de pruebas eran a menudo erróneas. En muchos casos, los robots más inteligentes estaban eligiendo la respuesta más segura y mejor, pero el examen los marcaba como "incorrectos" porque la clave de respuestas escrita por humanos era defectuosa. Esto sugiere que algunos de los mayores problemas de la seguridad de la IA pueden no ser que los robots fallen, sino que las pruebas sean injustas.

Los autores advierten cuidadosamente que, si bien su herramienta matemática es increíblemente rápida y efectiva para reducir la búsqueda, todavía necesita de un humano (o de un juez de IA muy inteligente) para dar la decisión final sobre si una historia está realmente rota. Ellos no arreglaron los datos en sí, sino que construyeron un mapa altamente eficiente que muestra exactamente dónde están los baches, ahorrando a los investigadores tener que conducir por cada pulgada de la carretera para encontrarlos. Al usar este método, redujeron el trabajo de revisar un conjunto de datos masivo de mirar miles de elementos a solo unas pocas docenas de sospechosos de alta prioridad, demostiendo que, a veces, la mejor manera de encontrar la verdad es ver cómo las piezas de un rompecabezas se empujan y se atraen entre sí.

Resumen Técnico: Más allá de Shapley: Un pipeline de auditoría de datos basado en la influencia para el alineamiento y la evaluación de LLM

Declaración del Problema

El alineamiento de los Modelos de Lenguaje Extensos (LLM) está cada vez más limitado por la calidad de los datos en lugar de la arquitectura del modelo. A medida que los conjuntos de datos escalan, los masivos corpora de preferencia y de ajuste de instrucciones acumulan contradicciones estructurales ocultas, riesgos de seguridad y errores sistémicos de anotación humana. Los métodos de auditoría actuales enfrentan limitaciones significativas:

Deduplicación Semántica: Eficaz para encontrar duplicados textuales, pero falla al capturar la utilidad funcional o el impacto predictivo de registros individuales.
LLM-como-Juez (LLM-as-a-Judge): Aunque es escalable, estos métodos dependen de rúbricas definidas por humanos, suelen exhibir sesgos (por ejemplo, hacia la longitud de la respuesta) y no pueden determinar matemáticamente cómo un registro influye en la distribución predictiva de un modelo.
Data Shapley: Proporciona un marco riguroso para la valoración de datos, pero es computacionalmente prohibitivo ( $O(2^N)$ ) para grandes conjuntos de datos. Las aproximaciones existentes carecen de granularidad a nivel de registro (requiriendo agrupamientos gruesos) o están restringidas a tareas de clasificación/regresión, fallando en abordar la mecánica generativa de los LLM.

Existe una brecha crítica en la capacidad de realizar una valoración de datos punto a punto, a nivel de registro, para LLM generativos sin requerir un reentrenamiento de modelos computacionalmente costoso o un muestreo iterativo de datos.

Metodología

Los autores proponen un pipeline de valoración de datos basado únicamente en la inferencia y escalable que aproxima el valor de Shapley mediante la medición de la contribución marginal de los puntos de datos a través de cambios en la verosimilitud de logaritmo condicional (conditional log-likelihood). El flujo de trabajo consta de dos fases primarias:

Fase 1: Medición de la Influencia

Construcción del Vecindario Semántico: Los prompts se proyectan en un espacio vectorial denso (usando Qwen3-Embedding-4B). Las instrucciones de sistema estáticas se eliminan para evitar la dilución del vector. Se construye un grafo de $k$ -Vecinos Más Cercanos ( $k$ -NN) basado en la similitud de coseno.
Puntuación Zero-Shot y One-Shot: Para un registro objetivo $(x_i, y_i)$ $(x_{i}, y_{i})$ y un vecino $(x_j, y_j)$ $(x_{j}, y_{j})$ , el pipeline calcula la verosimilitud de logaritmo condicional de la respuesta objetivo $y_i$ $y_{i}$ bajo dos condiciones:
- Línea Base ( $LL_{base}$ ): La probabilidad de $y_i$ dado solo $x_i$ .
- Sonda ( $LL_{probe}$ ): La probabilidad de $y_i$ dado un prompt compuesto donde $(x_j, y_j)$ sirve como una demostración de un solo paso (one-shot) previa a $x_i$ .
Cálculo de la Influencia: La influencia predictiva ( $\Delta LL$ ) se define como la diferencia: $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$ . Un $\Delta LL$ positivo indica una influencia constructiva, mientras que un valor negativo sugiere una contradicción de comportamiento donde el vecino degrada la probabilidad predictiva del objetivo.
Construcción del Grafo Dirigido: Se construye un grafo dirigido $G=(V, E)$ donde las aristas representan el flujo de influencia desde el vecino hacia el objetivo, ponderado por $\Delta LL$ .

Fase 2: Derivación de Métricas y Auditoría

A partir del grafo, se derivan tres métricas para cada nodo:

Ventaja Exemplificada (Influencia Pasiva): Mide la influencia agregada que un registro recibe de sus vecinos entrantes. Los valores altos sugieren redundancia.
Ventaja de Exemplificación (Influencia Activa): Mide la contribución predictiva que un registro ejerce sobre sus vecinos salientes. Esto aproxima el valor de Data Shapley al tratar el aprendizaje en contexto de un solo paso (1-shot in-context learning) como un sustituto de gradiente cero para las actualizaciones de parámetros.
Puntuación "Uno de una Clase" (Unicidad Topológica): Cuantifica la singularidad estructural basada en la asimetría de la recuperación $k$ -NN (registros que recuperan vecinos pero que rara vez son recuperados por ellos mismos).

Paradigmas de Detección de Contradicciones:

No Supervisado (Etiquetas Implícitas): Marca nodos donde las ventajas de ejemplificación o de exemplificación caen por debajo de un umbral ( $\tau_{adv}$ ), buscando específicamente Vecinos Más Cercanos Mutuos (MNN) que se degradan mutuamente su probabilidad predictiva.
Supervisado (Etiquetas Explícitas): Un proceso de dos etapas para conjuntos de datos de modelos de recompensa. Primero, aisla registros de "estándar de oro" (con alta calificación humana) con ventajas de exemplificación negativas. Segundo, realiza una "Verificación de Gemelos" buscando vecinos con bajas calificaciones que tengan comportamientos de respuesta similares para identificar inconsistencias entre anotadores.

Contribuciones Clave

Marco de Valoración Basado en la Influencia: El artículo introduce un pipeline altamente escalable, basado solo en la inferencia, que aproxima los valores de Shapley para LLM generativos. A diferencia de métodos anteriores, opera en $O(K)$ pasadas hacia adelante (donde $K$ es el tamaño del vecindario) sin reentrenamiento del modelo ni agrupamiento, generalizándose a la generación abierta y a los datos de preferencia por pares.
Detección de Contradicciones Estructurales: El pipeline descubre contradicciones estructurales ocultas en conjuntos de datos ampliamente utilizados (HelpSteer2 y HH-RLHF) que las métricas de similitud estándar no detectan. Identifica registros recompensados por humanos que ocultan errores estructurales (por ejemplo, alucinaciones factuales, instrucciones de formato ignoradas) que degradan el rendimiento del modelo.
Exposición de Vulnerabilidades en Benchmarks: Al auditar la división de evaluación de HH-RLHF, el trabajo demuestra que los modelos altamente capaces frecuentemente predicen la respuesta más segura o útil, pero son penalizados por etiquetas de verdad fundamental (ground-truth) humanas objetivamente erróneas, revelando vulnerabilidades en la integridad de los benchmarks actuales.

Resultados Experimentales

El pipeline fue evaluado en dos conjuntos de datos utilizando Qwen3.5-9B como modelo objetivo y Gemini 3.1 Pro para el arbitraje experto.

Caso de Estudio 1: HelpSteer2

Proceso: Aplicado a 21,362 registros, centrándose en 8,434 registros con puntuaciones de utilidad humana perfectas (4/4).
Eficiencia: Redujo el espacio de búsqueda de la auditoría manual en un 99.1% (de 8,434 registros a 77 pares candidatos).
Hallazgos: Identificó 18 pares de contradicción y 10 registros únicos falsamente etiquetados como perfectos. Los errores incluyeron alucinaciones factuales (por ejemplo, fechas de calendario incorrectas), restricciones de formato ignoradas y citas académicas fabricadas.
Perspectiva: Reveló un "sesgo de superficialidad" en la anotación humana, donde textos estructuralmente sólidos pero factualmente fraudulentos recibieron puntuaciones altas.

Caso de Estudio 2: HH-RLHF

Auditoría de Datos de Entrenamiento: Identificó 4,238 contradicciones y 2,841 registros problemáticos únicos. Las categorías incluyeron violaciones de seguridad (por ejemplo, recompensar la complacencia tóxica), alucinaciones, evasión no útil y fallos estructurales.
Auditoría de Datos de Evaluación: Aplicado a la división de evaluación, aislando 108 registros únicos con contradicciones estructurales confirmadas.
Desacuerdo del Modelo: Al probarse en estos registros "defectuosos" aislados, las tasas de desacuerdo con las etiquetas humanas aumentaron significativamente en comparación con el baseline:
- Qwen3.5-9B (FT): El desacuerdo aumentó del 28.9% (conjunto completo) al 62.04% (subconjunto verificado).
- Qwen3.5-27B: El desacuerdo aumentó del 28.67% al 75.00%.
- Gemma3-12B: El desacuerdo aumentó del 38.34% al 63.89%.
Conclusión: Las altas tasas de desacuerdo confirman que los modelos a menudo predecían el comportamiento correcto, pero las etiquetas del benchmark eran objetivamente defectuosas.

Significación y Limitaciones

Significación:
El artículo proporciona una herramienta de diagnóstico matemáticamente fundamentada y eficiente para descubrir fallos en las etiquetas humanas y sanear los benchmarks de evaluación. Cambia el paradigma de los cálculos de Shapley basados en reentrenamiento, que son computacionalmente prohibitivos, hacia un enfoque tratable basado solo en la inferencia que mantiene la granularidad a nivel de registro. Esto permite la identificación rápida de errores de anotación sistémicos y la validación de la integridad de los benchmarks.

Limitaciones:

Dependencia de la Verificación: La verificación final depende de evaluadores de LLM (por ejemplo, Gemini), lo que puede introducir sesgos subjetivos y no determinismo.
Filtro vs. Detector: La métrica $\Delta LL$ actúa como un filtro de anomalías que reduce el espacio de búsqueda en un ~99%, pero aún requiere un árbitro para confirmar choques semánticos de reglas.
Precisión vs. Exhaustividad (Recall): Los umbrales estrictos priorizan la precisión, lo que significa que el pipeline no captura la totalidad de los errores del conjunto de datos (por ejemplo, los 108 errores aislados en HH-RLHF no representan la tasa de desacuerdo total de ~30% de los modelos base).
Escalabilidad de la Verdad Fundamental Humana: Establecer una verdad fundamental humana a gran escala para los errores de anotación sigue siendo prohibitivamente costoso, lo que limita la capacidad de validar completamente la exhaustividad (recall) del pipeline.