Resumen Técnico: Barreras para la Atribución de Crédito Contrafactual en Modelos Autoregresivos

Declaración del Problema

La IA generativa oscurece el vínculo entre entradas y salidas, complicando la práctica de otorgar crédito a trabajos previos. Si bien la Atribución de Crédito Contrafactual (CCA) fue introducida recientemente por Livni et al. [2024] como una condición técnica para algoritmos de aprendizaje (una relajación de la privacidad diferencial que requiere estabilidad con respecto a entradas no acreditadas), su aplicación a modelos generativos permanece inexplorada.

Este artículo inicia el estudio de la CCA para modelos de lenguaje autoregresivos. Específicamente, aborda el desafío de atribuir crédito a un conjunto de datos en tiempo de despliegue (por ejemplo, una base de datos RAG o ejemplos de aprendizaje en contexto) en lugar del conjunto de datos de entrenamiento. El objetivo es diseñar modelos que generen tanto una secuencia generada como un conjunto de crédito $C \subseteq S$, satisfaciendo la condición de CCA: si un documento $s_i$ no es acreditado, la distribución de salida debe ser indistinguible de la distribución donde $s_i$ fue excluido de la entrada.

Metodología

Los autores investigan dos enfoques naturales para construir modelos autoregresivos compatibles con CCA:

1. Composición Autoregresiva: Diseñar un predictor de siguiente token compatible con CCA y desplegarlo para generar secuencias, agregando los conjuntos de crédito de los tokens individuales.
2. Readaptación (Retrofitting): Tomar un modelo existente que no otorga crédito y envolverlo con un algoritmo que añade un conjunto de crédito a sus salidas mientras preserva la distribución de generación original.

El artículo emplea análisis teórico, incluidos contraejemplos, pruebas de cotas inferiores y argumentos de complejidad de oráculo, para evaluar la viabilidad de estos enfoques.

Contribuciones y Resultados Clave

1. No Composición de la CCA Autoregresiva

El primer resultado importante desafía el enfoque estándar utilizado para la Privacidad Diferencial (DP) en LLMs, donde un predictor de siguiente token privado se compone autoregresivamente para garantizar la privacidad de extremo a extremo.

• Hallazgo: La CCA no se compone autoregresivamente.
• Teorema 4.2: Los autores construyen un contraejemplo que muestra que para cualquier $\epsilon \ge 0$ y $\delta < 1$, existe un predictor de siguiente token $\tilde{M}$ que satisface la condición de CCA $(0,0)$ más estricta, sin embargo, su despliegue autoregresivo $G_{\tilde{M}}$ falla en satisfacer la CCA $(\epsilon, \delta)$.
• Teorema 4.3: Se prueba una cota inferior general para el parámetro de CCA $\epsilon'$ de un despliegue generado por un predictor de CCA $\epsilon$. Contraintuitivamente, a medida que el $\epsilon$ del predictor base se acerca a 0 (volviéndose "mejor" en la atribución), la cota inferior en el $\epsilon'$ del despliegue puede aumentar, debilitando la garantía de composición. Esto contrasta agudamente con la DP, donde la composición está bien entendida y es manejable.

2. Inviabilidad de la Readaptación de CCA

El segundo enfoque, la readaptación, implica añadir una capa de atribución de crédito a un modelo preexistente mediante acceso de caja negra.

• Hallazgo: La readaptación de CCA es computacionalmente inviable en el peor de los casos.
• Teorema 5.5: Los autores prueban que cualquier algoritmo que intente readaptar un modelo para que sea $(\epsilon, 0)$-CCA (con $\delta=0$) y óptimo en crédito (minimizando el número esperado de elementos acreditados) requiere consultas exponenciales al modelo base en términos de la longitud de salida $\ell$.
• Construcción de Dureza: Construyen una familia de modelos $\{M_z\}$ indexada por una cadena oculta $z \in \{0,1\}^\ell$. Para satisfacer la CCA, el algoritmo de readaptación debe identificar efectivamente $z$. Mientras que encontrar $z$ a partir del modelo base requiere $\Omega(2^\ell)$ consultas, encontrar $z$ a partir de una augmentación óptima de CCA requiere solo consultas polinomiales. Esta brecha implica que cualquier algoritmo de readaptación de caja negra debe realizar consultas exponenciales al modelo base para lograr la aproximación necesaria.
• Paradoja del Impacto Desvanecido: El análisis revela un problema conceptual: los modelos construidos son funcionalmente indistinguibles con respecto al documento de entrada (la distancia de variación total desvanece como $2^{-\ell}$), sin embargo, la augmentación óptima de CCA es requerida para acreditar el documento con una probabilidad constante $\gamma > 0$. Esto sugiere que las definiciones estrictas de CCA pueden forzar la atribución para entradas con impacto negligible.

Significado y Afirmaciones

El artículo afirma ser el primero en estudiar formalmente la CCA en el contexto de modelos generativos autoregresivos. Su significado principal radica en identificar barreras fundamentales para dos estrategias intuitivas de implementar la atribución de crédito:

1. Desacoplamiento de la DP: A diferencia de la Privacidad Diferencial, la CCA no se compone bajo la generación autoregresiva. Esto implica que simplemente entrenar un predictor de siguiente token "que atribuye crédito" es insuficiente para garantizar la CCA para el texto generado completo.
2. Límites Computacionales: Readaptar modelos existentes para satisfacer la CCA es computacionalmente prohibitivo (complejidad de consultas exponencial) bajo suposiciones estándar de caja negra y requisitos estrictos de optimalidad.

Los autores concluyen que estos resultados destacan la dificultad de formalizar la atribución de crédito para la IA generativa. Sugieren que relajar la definición (por ejemplo, permitiendo $\delta > 0$ o relajando el requisito de que el modelo augmentado preserve exactamente la distribución de salida original) puede ser necesario para lograr soluciones viables, aunque dichas relajaciones se dejan para trabajo futuro. El artículo no propone nuevos algoritmos ni validaciones experimentales, sino que delimita los límites teóricos del marco actual de CCA cuando se aplica a la generación autoregresiva.