Resumen Técnico: Reproducción de FACTER

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLMs) se despliegan cada vez más como sistemas de recomendación debido a su capacidad para generar sugerencias personalizadas en lenguaje natural. Sin embargo, estos modelos corren el riesgo de amplificar los sesgos sociales presentes en sus datos de entrenamiento, lo que conduce a recomendaciones sistemáticamente diferentes para usuarios de distintos grupos demográficos. Aunque el reentrenamiento de modelos bajo restricciones de equidad es una estrategia de mitigación común, suele ser poco práctico para los LLMs de caja negra desplegados a través de APIs. Esto requiere intervenciones agnósticas al modelo y post-hoc.

El artículo se centra en la reproducción de FACTER (Fayyazi et al., 2025), un marco diseñado para imponer equidad en las recomendaciones basadas en LLM sin alterar los parámetros del modelo. FACTER combina la predicción conforme para calibrar un umbral de no conformidad con un mecanismo de reparación de prompts iterativo que inyecta restricciones "AVOID" (EVITAR) basadas en las violaciones detectadas. El estudio original afirmaba que FACTER podía reducir las violaciones de equidad sin degradar la utilidad de la recomendación. Este trabajo investiga la reproducibilidad de estas afirmaciones, abordando las ambigüedades en la implementación original y evaluando el marco tanto bajo la configuración original de generación abierta como bajo una extensión de re-ranking controlada.

Metodología

Implementación del Marco

Los autores implementaron FACTER desde cero, adhiriéndose a las formalizaciones teóricas del artículo original mientras resolvían las discrepancias de implementación encontradas en el código público. El marco opera en dos fases:

1. Calibración Offline: Se establece un umbral de aceptación inicial ($Q^{(0)}_\alpha$) utilizando predicción conforme dividida (split conformal prediction). Se calcula una puntuación de no conformidad ($S$) para las instancias de calibración, combinando un término de error predictivo (desviación de la verdad de campo) y una penalización de equidad (distancia semántica a las recomendaciones dadas a "vecinos contrafácticos" con diferentes atributos protegidos).
2. Monitoreo Online: A medida que llegan las consultas, el sistema verifica si la puntuación de no conformidad excede el umbral actual. Si ocurre una violación:
   • Reparación de Prompt: El sistema extrae características de ítems frecuentes asociadas con la violación e inyecta restricciones explícitas de "AVOID" en el prompt del sistema (por ejemplo, "Avoid: gender=F $\to$ Romance").
   • Adaptación del Umbral: El umbral se actualiza mediante suavizado exponencial para redimensionar dinámicamente la región de aceptación.

Configuración Experimental

El estudio evalúa FACTER a través de dos conjuntos de datos (MovieLens-1M y Amazon Movies & TV) y tres backbones de LLM (Llama 2-7B, Llama 3-8B, Mistral-7B).

• Tareas: La evaluación cubre la tarea original de generación de texto abierto (donde el LLM genera títulos de ítems desde cero) y una nueva tarea de re-ranking restringido (donde el LLM clasifica un conjunto fijo de candidatos).
• Baselines: El estudio introduce un baseline de Fair Zero-Shot, que utiliza instrucciones de equidad estáticas sin el bucle de reparación iterativa para aislar la contribución del mecanismo dinámico.
• Métricas: La equidad se mide mediante la Relación de Similitud Sensible-a-Neutral (SNSR) y la Relación de Equidad Contrafáctica (CFR), junto con los Conteos de Violaciones. La utilidad se mide mediante Recall@k y NDCG@k.

Resultados Clave

1. Reproducibilidad de la Generación de Texto Abierto

Bajo una reproducción estricta de la tarea de generación abierta, los autores observaron una divergencia significativa en la utilidad de la recomendación.

• Brecha de Utilidad: El modelo reproducido arrojó puntuaciones de NDCG@10 y Recall@10 cercanas a cero, contrastando fuertemente con los sólidos resultados reportados en el estudio original. Esta brecha se atribuye a la dificultad de la generación zero-shot y a los protocolos de evaluación de conjuntos objetivo mal especificados en el trabajo original (por ejemplo, tolerancias de coincidencia de cadenas y construcción del conjunto de relevancia).
• Tendencias de Equidad: A pesar de la brecha de utilidad, FACTER redujo consistentemente los conteos de violaciones de umbral adaptativo en comparación con el baseline neutral. Sin embargo, estas reducciones no se tradujeron consistentemente en mejoras en las métricas de equidad global (SNSR, CFR). En algunos casos, el CFR de FACTER fue peor que el del baseline neutral.

2. Desempeño en la Extensión de Re-Ranking

En la configuración controlada de re-ranking, donde el conjunto de candidatos es fijo:

• Utilidad: La utilidad de la recomendación fue notablemente mayor que en la generación abierta, confirmando que los LLMs subyacentes pueden identificar ítems relevantes cuando el espacio de búsqueda está restringido.
• Equidad: FACTER mantuvo bajos conteos de violaciones adaptativas. Sin embargo, las instrucciones de equidad estáticas (Fair Zero-Shot) lograron resultados de paridad semántica (SNSR, CFR) y conteos de violaciones de umbral fijo comparables al bucle dinámico de FACTER.
• Dinámica del Umbral: Se encontró que la reducción en las violaciones depende altamente del umbral adaptativo. Cuando se evaluó contra un umbral fijo calibrado por la población, los conteos de violaciones de FACTER fueron comparables a los de los baselines, lo que sugiere que la aparente mejora proviene de la relajación del umbral más que de un cambio conductual fundamental.

3. Análisis del Mecanismo

El análisis de componentes de las puntuaciones de no conformidad reveló que, si bien el error predictivo mejoró marginalmente a lo largo de las iteraciones, la penalización de equidad en realidad aumentó. Esto indica que las restricciones "AVOID" inyectadas a menudo no lograron anular la distribución predictiva del modelo, lo que potencialmente desestabiliza la estabilidad contrafáctica. El bucle de reparación dinámica proporcionó un beneficio adicional limitado sobre el prompting estático en la formulación de ranking restringido.

Significancia y Reivindicaciones

El artículo se posiciona como una auditoría de reproducción de mejor esfuerzo en lugar de una adjudicación definitiva de los resultados originales, citando ambigüedades en el artículo original y el código. Sus contribuciones primarias son:

1. Documentación de Límites: Destaca que las afirmaciones de utilidad de la generación abierta original no pudieron ser reproducidas bajo entornos equivalentes, probablemente debido a protocolos de evaluación mal especificados.
2. Aislamiento de Mecanismos: Al introducir el baseline Fair Zero-Shot, el estudio demuestra que el bucle de reparación de prompts iterativo proporciona un beneficio marginal limitado sobre las instrucciones de equidad estáticas en tareas de ranking restringido.
3. Umbral vs. Comportamiento: El análisis sugiere que el mecanismo principal de FACTER para reducir los conteos de violaciones es la relajación del umbral adaptativo en lugar de la eliminación exitosa del sesgo mediante la reparación de prompts.
4. Restricciones de Reproducibilidad: El trabajo subraya la necesidad de protocolos de evaluación transparentes en tareas generativas de texto abierto y los desafíos de reproducir marcos de equidad agnósticos al modelo cuando los detalles de implementación (por ejemplo, construcción del conjunto objetivo, computación de métricas) son ambiguos.

Los autores concluyen que, si bien la predicción conforme logra acotar los conteos internos de violaciones, la necesidad práctica del bucle de reparación online es cuestionable en entornos restringidos, donde las instrucciones estáticas pueden ofrecer una alternativa más eficiente. Instan a que la investigación futura explore mecanismos que impongan límites semánticos durante la decodificación y que calibren mejor las penalizaciones de equidad frente a la confianza predictiva.