Resumen Técnico: Rastreando el rastro de los datos: Un estudio sobre la procedencia, transparencia y trazabilidad de los datos en los LLM

1. Planteamiento del problema

Los Modelos de Lenguaje Extensos (LLM) se despliegan cada vez más a escala, sin embargo, el ciclo de vida de sus datos de entrenamiento sigue siendo en gran medida opaco. Los principales creadores suelen mantener en secreto el origen de los datos y los procesos de entrenamiento debido a preocupaciones económicas y de propiedad, lo que resulta en modelos de "caja negra". Esta opacidad crea desafíos significativos:

• Incapacidad de rastreo: Los LLM no pueden actualmente rastrear los resultados generados hasta las fuentes de datos originales.
• Calidad y sesgo de los datos: La escala masiva de los datos de entrenamiento (por ejemplo, FineWeb con 15 billones de tokens) supera las capacidades de verificación humana. El uso de datos sintéticos generados por LLM para entrenar nuevos modelos introduce riesgos de propagación de sesgos y alucinaciones.
• Privacidad y cumplimiento legal: El "derecho al olvido" y regulaciones como el RGPD y la Ley de IA de la UE son difíciles de aplicar cuando los datos están embebidos en los parámetros del modelo sin un linaje claro.
• Brecha de transparencia: Existe una desconexión fundamental entre los pesos del modelo (parámetros) y los datos de entrenamiento brutos, lo que dificulta la interpretabilidad, la explicabilidad y la rendición de cuentas.

El artículo sostiene que, sin abordar la procedencia, la transparencia y la trazabilidad de los datos, el campo no podrá mitigar eficazmente problemas como las alucinaciones, los sesgos y las violaciones de la privacidad.

2. Metodología

Los autores realizaron una revisión sistemática de la literatura para sintetizar la investigación de los últimos diez años (enero de 2016 – marzo de 2025).

• Estrategia de búsqueda: Se construyó una consulta utilizando la base de datos Scopus con tres filtros: (1) Datos (procedencia, linaje, gobernanza), (2) Modelos de Lenguaje (LLM, modelo de lenguaje extenso), y (3) Atributos (transparencia, trazabilidad, auditabilidad, reproducibilidad).
• Proceso de selección: La búsqueda inicial arrojó 129 resultados. Tras una revisión manual, filtrando duplicados y aplicando criterios de relevancia (involucración del uso de datos con LLM, generación de datos por/para LLM, o procedencia de datos en ML/IA), se excluyeron 34 artículos.
• Corpus final: El análisis final se basa en 95 publicaciones.
• Construcción de la taxonomía: Los autores desarrollaron una taxonomía que organiza el campo en tres ejes principales y tres pilares de apoyo, visualizada en la Figura 2 del artículo.

3. Contribuciones clave y taxonomía

La contribución central del artículo es una propuesta de taxonomía que define los dominios de la procedencia de datos de los LLM y enumera los artefactos correspondientes. El marco se estructura en torno a:

Tres ejes principales

1. Procedencia de los datos: Seguimiento del origen de las fuentes de datos (licenciamiento, atribución, extracción, generación y anotación).
2. Trazabilidad y rendición de cuentas: Vincular los datos de origen subyacentes con los resultados generados (registro de eventos, marcas de agua, atribución de predicción del modelo).
3. Transparencia: El grado de apertura respecto a la arquitectura del modelo, los parámetros y los procedimientos de entrenamiento (distinguiendo entre modelos de pesos abiertos y de pesos cerrados).

Tres pilares de apoyo

1. Sesgo e incertidumbre: Analizar cómo el sesgo en los datos de entrenamiento se propaga a los modelos y cuantificar la incertidumbre del modelo/alucinaciones.
2. Privacidad de los datos: Abordar la protección de datos personales y de propiedad dentro del contexto del entrenamiento de LLM y el "derecho al olvido".
3. Herramientas y técnicas: Operacionalizar los conceptos anteriores mediante software, librerías y enfoques metodológicos específicos.

4. Hallazgos clave y resultados

Procedencia de los datos y atribución

• Licenciamiento: Muchos conjuntos de datos públicos carecen de licencias claras, creando una "zona gris" para el uso comercial. Herramientas como DPExplorer están emergiendo para auditar el origen de los conjuntos de datos.
• Atribución: Existen dos enfoques: Preservación de la procedencia (por ejemplo, sistemas RAG donde el contexto se transmite explícitamente) e Inferencia de la procedencia (búsqueda post-hoc de fuentes, que puede simular en lugar de rastrear los orígenes).
• Datos sintéticos: El uso de LLM para la anotación y generación de datos (por ejemplo, el marco START, FuxiTranyu) crea canales rastreables pero corre el riesgo de propagar sesgos y alucinaciones si no se supervisa.

Trazabilidad y rendición de cuentas

• Registro de eventos (Logging): Las prácticas de registro de ML difieren de la ingeniería de software general, a menudo careciendo de ubicuidad en las fases de despliegue. El registro de los estados del modelo y las transformaciones de datos es crucial para la auditabilidad.
• Marcas de agua (Watermarking): Técnicas como TimeMarker permiten la trazabilidad temporal y la protección de derechos de autor mediante la inserción de marcas de agua distintivas en los resultados del modelo para detectar la extracción o el uso indebido.
• Atribución de la predicción del modelo: Marcos como WrapperBox envuelven las representaciones de los LLM en modelos clásicos (kNN, DT) para rastrear las predicciones hasta muestras de entrenamiento específicas.

Transparencia y opacidad

• Pesos abiertos vs. Pesos cerrados: El artículo distingue entre modelos transparentes de pesos abiertos (que permiten la inspección de pesos y arquitectura) y modelos opacos de pesos cerrados (cajas negras).
• Interpretabilidad vs. Explicabilidad: Los autores aclaran una distincción creciente:
  • Interpretabilidad: Una propiedad pasiva donde la estructura interna puede entenderse directamente (por ejemplo, capas de decisión dispersas).
  • Explicabilidad: Un proceso activo que produce razones comprensibles para los humanos sobre las decisiones (por ejemplo, atribución de características post-hoc).
• Dominios: La investigación en modelos de pesos abiertos abarca la informática, la biomedicina y el derecho, mientras que la investigación de pesos cerrados suele centrarse en aplicaciones educativas e implicaciones filosóficas de la confianza.

Sesgo, incertidumbre y privacidad

• Sesgo: El sesgo inherente a los datos escritos por humanos se propaga a los LLM. El uso de datos generados por LLM para el entrenamiento crea bucles de retroalimentación que pueden amplificar el sesgo.
• Incertidumbre: Distinguida como Aleatoria (ambigüedad de los datos) y Epistémica (falta de habilidad del modelo). Los estados internos de los LLM a veces pueden ser explotados para detectar alucinaciones.
• Privacidad: El "derecho al olvido" es difícil de aplicar en los LLM. Aunque se investiga la edición de modelos (desaprendizaje/unlearning), no existe una solución general para borrar datos específicos de los parámetros entrenados.

Herramientas y técnicas

La encuesta identifica herramientas específicas (por ejemplo, t5x, seqio, Data Provenance Explorer) y técnicas (por ejemplo, destilación Trace-of-Thought, rastreo de circuitos, TuneTables) que operacionalizan el seguimiento de la procedencia.

5. Significancia y afirmaciones

El artículo afirma que la procedencia, la transparencia y la trazabilidad de los datos están intrínsecamente ligadas; es imposible rastrear los flujos de datos a través de sistemas no transparentes, y es imposible vincular los orígenes de los datos con los resultados sin trazabilidad.

Afirmaciones de significancia clave:

• Análisis retrospectivo: La encuesta proporciona una revisión exhaustiva de la última década de investigación de LLM con respecto al uso de datos.
• Definición del dominio de investigación: Establece un nuevo dominio de investigación al explorar entornos de LLM específicamente para capacidades de procedencia de datos.
• Identificación de brechas: Identifica brechas críticas, incluyendo la falta de soluciones generales para el "derecho al olvido", los riesgos de propagar el sesgo mediante la generación de datos sintéticos y la escasez de datos etiquetados.
• Hoja de ruta futura: El artículo esboza direcciones futuras, como la investigación de la propagación de clases de datos hacia los parámetros del modelo, el abordaje de la contaminación de datos (datos de prueba en los conjuntos de entrenamiento) y el desarrollo de métodos para detectar y eliminar información privada de los modelos.

Los autores concluyen que rastrear los orígenes de las fuentes de datos que fluyen hacia los LLM es esencial para atribuir las decisiones del modelo, aumentar la transparencia y asegurar la reproducibilidad en la investigación de IA. Enfatizan que, sin procesos activos para mantener la procedencia, la información se pierde durante la parametrización, haciendo que los resultados generados sean inatribuibles a sus fuentes originales.