Resumen Técnico: COFT (Decodificación Contrafactual-Conformal para el Razonamiento de Cadena de Pensamiento Justo)

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs), entrenados en corpus de la web, internalizan y, a menudo, amplifican los sesgos sociales, particularmente durante la generación de la Cadena de Pensamiento (CoT). Aunque el resultado final de un modelo puede parecer neutral, los pasos intermedios de razonamiento pueden revelar asociaciones perjudiciales token por token. Las estrategias de mitigación existentes enfrentan limitaciones significativas:

• Métodos en tiempo de entrenamiento (p. ej., ajuste fino, RLHF, curación de datos) son computacionalmente costosos, requieren acceso a los pesos del modelo y corren el riesgo de degradar el rendimiento en dominios generales o de codificar los sesgos de los anotadores.
• El direccionamiento en tiempo de inferencia (p. ej., mediante el uso de clasificadores auxiliares o conjuntos de expertos) introduce latencia, depende de los puntos ciegos de los clasificadores externos y carece de garantías estadísticas rigurosas.
• La mitigación de sesgo en el espacio de representación (p. ej., proyección de subespacio nulo) suele aplicar correcciones globales e independientes del prompt que pueden suprimir la semántica legítima dependiente del contexto y no logran capturar manifestaciones de sesgo no lineales.

Crucialmente, los enfoques actuales carecen de garantías estadísticas por paso en el momento de la decodificación. No especifican qué tokens pueden emitirse de forma segura para mantener el riesgo de sesgo bajo control, ni imponen una paridad contrafactual local (estabilidad de la salida bajo cambios hipotéticos en los fragmentos sensibles del prompt) en cada paso de la decodificación.

2. Metodología: COFT

COFT (Cadena de Pensamiento Justo) es un marco de decodificación sin entrenamiento, exclusivo de inferencia, diseñado para imponer la equidad contrafactual en modelos de lenguaje causales congelados. Opera en tres etapas distintas:

Etapa I: Enmascaramiento Contrafactual

COFT construye una versión "enmascarada" del prompt de entrada, $\hat{p}$, reemplazando los fragmentos sensibles (p. ej., género, raza, identificadores religiosos) con tokens centinela neutrales (p. ej., [MASK]).

• Implementación: El operador de enmascaramiento es determinista y preserva la longitud. Si un fragmento sensible se tokeniza en $k$ tokens, se reemplaza por $k$ tokens centinela. Esto asegura que las ramas fáctica y enmascarada permanezcan perfectamente alineadas en posición absoluta, permitiendo comparaciones válidas de logits a nivel de token en prefijos autoregresivos idénticos.
• Ejecución de Doble Rama: El modelo $f_\theta$ se ejecuta dos veces en paralelo: una vez en el prompt fáctico $p$ y otra en el prompt enmascarado $\hat{p}$, condicionados al mismo prefijo generado $w_{<t}$.

Etapa II: Fusión de Logits Contrafactuales

Para atenuar los sesgos impulsados por atributos, COFT realiza una interpolación convexa de las distribuciones de logits de las ramas fáctica ($z^F_t$) y enmascarada ($z^{CF}_t$):
$$\tilde{z}_t = (1 - \lambda) z^F_t + \lambda z^{CF}_t$$
donde $\lambda \in [0, 1]$ es un parámetro de fusión ajustable.

• Efecto: Esta operación crea una mezcla geométrica de las dos distribuciones de probabilidad. Teóricamente, interpola linealmente los log-odds entre tokens, "cegando" efectivamente al modelo ante los atributos sensibles mientras preserva las regiones de alta probabilidad de la distribución. Esta fusión ocurre antes de la certificación para asegurar que el paso de filtrado posterior opere sobre distribuciones que ya concuerdan en sus regiones de alta masa.

Etapa III: Filtrado Split-Conformal de Doble Rama

COFT aplica un procedimiento de predicción split-conformal (CP) para certificar un conjunto de tokens candidatos en cada paso $t$.

• Puntuación de No Conformidad: Se define una puntuación para cada token $v$ basada en la probabilidad mínima que posee tanto en la distribución fáctica fusionada ($\tilde{\pi}_t$) como en la distribución enmascarada ($\pi^{CF}_t$):
  $$s_t(v) = 1 - \min\{ \tilde{\pi}_t(v), \pi^{CF}_t(v) \}$$
• Calibración: Fuera de línea, en un conjunto de calibración disjunto, se calcula el cuantil $(1-\alpha)$, $q_t$, de estas puntuaciones.
• Certificación: En el tiempo de prueba, un token es admitido al conjunto de candidatos $C_t$ solo si su puntuación es inferior al umbral ($s_t(v) \le q_t$), lo cual es equivalente a requerir que el token tenga una probabilidad suficiente en ambas visiones, la fáctica y la enmascarada, simultáneamente.
• Muestreo: El token final se muestrea de la distribución fusionada $\tilde{\pi}_t$ restringida al conjunto certificado $C_t$. Si $C_t$ está vacío (un evento raro), se utiliza un fallback determinista (p. ej., argmax).

3. Contribuciones Clave

1. Decodificación Justa Sin Entrenamiento: COFT proporciona un mecanismo para imponer equidad en LLMs congelados sin necesidad de reentrenamiento, acceso a gradientes o clasificadores auxiliares.
2. Garantías Marginales por Paso: A diferencia de otros métodos, COFT ofrece garantías de validez marginales y libres de distribución (bajo el supuesto de intercambiabilidad) para la estabilidad de los tokens emitidos. Certifica que el siguiente token real está incluido en el conjunto de candidatos con una probabilidad de al menos $1-\alpha$.
3. Paridad Contrafactual Local: El método operacionaliza la equidad contrafactual a nivel de token, asegurando que el proceso de decodificación permanezca estable cuando los atributos sensibles en el prompt son hipotéticamente alterados.
4. Arquitectura de Doble Rama: Al fusionar logits y requerir soporte conjunto de las visiones fáctica y enmascarada, COFT atenúa eficazmente el sesgo mientras preserva la utilidad de la tarea.

4. Resultados Experimentales

Los autores evaluaron COFT en seis modelos (incluyendo LLaMA-2, Mistral, Mixtral y Qwen2) y múltiples benchmarks de sesgo (StereoSet, CrowS-Pairs, BBQ, BOLD, Utrecht, COMPAS) junto con tareas de utilidad estándar (GSM8K, StrategyQA, ARC-easy, PIQA).

• Mitigación de Sesgo: COFT redujo las métricas de sesgo estándar en un 30–55% (mediana 38%) en comparación con la decodificación vanilla y superó a bases sólidas de inferencia (p. ej., Self-Debiased Decoding, DExperts, Dual-Threshold Conformal Decoding). Por ejemplo, en el dataset BBQ, la reducción de sesgo alcanzó el 34–41%.
• Preservación de Utilidad: La precisión en las tareas de razonamiento y QA se mantuvo sin cambios dentro de los márgenes de ruido de ejecución a ejecución (diferencias $\le 0.2$ puntos). Las métricas de calidad de lenguaje (Perplejidad, MAUVE) fueron indistinguibles de la decodificación vanilla.
• Eficiencia: La sobrecarga computacional es modesta, equivalente a una pasada forward adicional con caché por paso. El throughput se reduce aproximadamente un 10–25%, y el uso de memoria pico aumenta de forma insignificante ($\le 0.8$ GB).
• Ablaciones: Eliminar la fusión de logits resultó en un mayor sesgo residual, confirmando que la fusión es el mecanismo principal para atenuar los log-odds impulsados por atributos. Eliminar el filtro conformal de doble rama resultó en una pérdida de las garantías de estabilidad contrafactual.

5. Significado y Reivindicaciones

El artículo posiciona a COFT como un camino claro y auditable para una generación de CoT más segura. Su principal significancia radica en proporcionar límites de seguridad verificables para modelos congelados sin los costos computacionales prohibitivos del reentrenamiento.

• Seguridad Auditable: Al proporcionar garantías marginales por paso, COFT permite a los profesionales desplegar modelos en dominios sensibles (p. ej., salud, legal, contratación) con una medida cuantificada del riesgo.
• Robustez: El método es robusto a los cambios de distribución (con una degradación de cobertura gradual basada en las razones de densidad) y mantiene el rendimiento a través de diversas arquitecturas de modelos.
• Limitaciones: Los autores señalan modestamente que las intervenciones algorítmicas no son una panacea. Las garantías dependen de la definición específica de los atributos sensibles y del supuesto de intercambiabilidad entre los datos de calibración y los de prueba. Además, la decodificación de doble rama introduce latencia de inferencia, que debe ponderarse frente a los beneficios de la reducción de sesgo. El método es más apropiado para escenarios donde la traza de razonamiento misma debe ser auditable.

En resumen, COFT demuestra que es posible reducir significativamente los sesgos sociales en las trazas de razonamiento de los LLM mientras se preserva la utilidad, utilizando un procedimiento ligero, sin entrenamiento y fundamentado en la teoría de la predicción conformal.