A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination

Resumen Técnico: Un Trilema similar al CAP para Modelos de Lenguaje Grande

Enunciado del Problema
Este artículo identifica una tensión estructural en la generación de respuestas de Modelos de Lenguaje Grande (LLM) análoga al teorema CAP en sistemas distribuidos. Mientras que el teorema CAP postula que la consistencia, la disponibilidad y la tolerancia a particiones no pueden garantizarse simultáneamente durante particiones de red, este trabajo argumenta que los LLM enfrentan una imposibilidad similar bajo la subdeterminación semántica.

Una instrucción (prompt) se define como semánticamente subdeterminada cuando los hechos, suposiciones y premisas disponibles ($F_x$) son insuficientes para implicar lógicamente una respuesta única. En tales escenarios, las consultas del usuario (por ejemplo, "¿Qué candidato debería ser seleccionado?" o "¿Qué ciudad es mejor?") solicitan una decisión singular, sin embargo, las premisas no especifican el criterio de decisión necesario para justificar esa elección. El artículo postula que un LLM no puede garantizar simultáneamente tres propiedades deseables en estos contextos:

1. Corrección Fuerte ($C_{strong}$): La salida está estrictamente implicada por las premisas disponibles ($F_x \models y$).
2. No Sesgo Estricto ($NB_{strict}$): El modelo no privilegia a un candidato sobre otro a menos que esa preferencia esté explícitamente justificada por $F_x$. El sesgo se define aquí ampliamente como cualquier preferencia de selección, prior o criterio normativo no respaldado.
3. Utilidad Decisiva ($U_{decisive}$): La respuesta proporciona una respuesta concreta y accionable en lugar de negarse, dudar o pedir aclaraciones.

Metodología
El artículo emplea un marco lógico formal para articular este trilema, dibujando una analogía directa con la formalización de Gilbert-Lynch del teorema CAP.

• Definiciones Formales: Los autores definen el conjunto de respuestas compatibles con las premisas $S_x = \{a \in A \mid a \text{ es compatible con } F_x\}$. Una instrucción está subdeterminada si $|S_x| > 1$.
• Formulación Lógica: La conjetura central se formaliza como $D(x) \Rightarrow \neg(C_{strong} \land NB_{strict} \land U_{decisive})$. Esto implica que si una instrucción está subdeterminada, es imposible satisfacer las tres condiciones simultáneamente.
• Análisis de Pares: El artículo analiza los compromisos entre pares:
  • $C_{strong} \land NB_{strict} \Rightarrow \neg U_{decisive}$: Para permanecer correcto y libre de sesgos, el modelo debe negarse o pedir aclaraciones, reduciendo la utilidad.
  • $NB_{strict} \land U_{decisive} \Rightarrow \neg C_{strong}$: Para ser útil y decisivo mientras se mantiene neutral, el modelo puede presentar equivalencias no respaldadas que debilitan la corrección.
  • $C_{strong} \land U_{decisive} \Rightarrow \neg NB_{strict}$: Para proporcionar una respuesta correcta y decisiva, el modelo debe introducir un criterio de selección; si este criterio no es suministrado por el usuario, funciona como un sesgo no respaldado.
• Estudios de Caso: La metodología se ilustra mediante tres ejemplos:
  1. Selección de Becas: Elegir entre estudiantes basándose en el promedio de calificaciones (GPA) y la necesidad financiera sin una regla de ponderación especificada.
  2. Recomendación Subjetiva: Clasificar ciudades basándose en prioridades del usuario no declaradas (por ejemplo, mercado laboral vs. seguridad).
  3. Decisión Normativa: Priorizar la ganancia frente al bienestar de los empleados sin un marco ético definido.

Contribuciones Clave

1. La Conjetura similar al CAP: La contribución principal es la formulación del "Trilema Corrección–No Sesgo–Utilidad". Esto desplaza el enfoque de ver las fallas de los LLM únicamente como limitaciones del modelo (por ejemplo, alucinación o sesgo en los datos de entrenamiento) a reconocerlas como consecuencias estructurales de solicitudes de decisión subdeterminadas.
2. Redefinición de Sesgo: El artículo expande la definición de sesgo más allá del prejuicio demográfico o social para incluir el "sesgo teórico de selección". En entornos subdeterminados, cualquier mecanismo que seleccione una sola respuesta de múltiples opciones válidas sin justificación explícita del usuario constituye un sesgo.
3. Formalización de la Negativa: El trabajo reencuadra la negativa del modelo o las solicitudes de aclaración no como fallas de utilidad, sino como estrategias de preservación de la consistencia análogas a un sistema distribuido que niega una solicitud durante una partición de red para evitar la inconsistencia.
4. Propuesta de Política de Diseño: Los autores proponen una política práctica $\pi(x)$ para gestionar estos compromisos, sugiriendo que los modelos deberían:
   • Responder directamente si $|S_x| = 1$.
   • Pedir aclaraciones si $|S_x| > 1$ y no se suministra ningún criterio.
   • Proporcionar respuestas condicionales si son plausibles múltiples criterios.
   • Recomendar con supuestos declarados si la utilidad requiere estrictamente una decisión.

Resultados y Afirmaciones
El artículo no presenta resultados experimentales empíricos, sino que ofrece una demostración teórica por contradicción. Demuestra que para cualquier instrucción subdeterminada con múltiples respuestas válidas, satisfacer las tres propiedades conduce a una contradicción lógica.

• Resultado Teórico: Una respuesta decisiva ($y \in S_x$) requiere la introducción de una función de valor o criterio $\theta$. Si $\theta$ no está en $F_x$, la respuesta no es estrictamente correcta ($F_x \not\models y$). Si $\theta$ está oculto, la respuesta está sesgada. Si $\theta$ es explícito pero el modelo se niega a elegir, la utilidad se reduce.
• Implicación para la Alineación: El artículo argumenta que los esfuerzos actuales de alineación, que a menudo tratan la veracidad, la inocuidad y la utilidad como objetivos maximizables independientemente, pueden ser fundamentalmente defectuosos en contextos subdeterminados. Una respuesta "útil" a menudo requiere una preferencia, y una respuesta "neutral" a menudo requiere una negativa.

Significado
El artículo afirma que comprender este trilema es crítico para la próxima generación de alineación y despliegue de LLM.

• Reencuadre de Fallas: Sugiere que muchas fallas percibidas del modelo son inducidas estructuralmente por la naturaleza de la instrucción en lugar de la incompetencia del modelo.
• Transparencia sobre Neutralidad: Argumenta que el objetivo no debe ser eliminar el compromiso, sino hacerlo explícito. Los modelos deben priorizar la "corrección condicional" y el "no sesgo transparente" (divulgar los supuestos utilizados) sobre la "utilidad decisiva" cuando las premisas son insuficientes.
• Impacto Sistémico: A medida que los modelos base se despliegan en tareas aguas abajo de alto riesgo, reconocer que una respuesta "equilibrada" puede ser en realidad una afirmación de igualdad no respaldada es vital para prevenir la propagación de marcos normativos ocultos.

En conclusión, el artículo afirma que las estrategias de alineación deben evolucionar para estudiar cómo la corrección, el no sesgo y la utilidad se compensan bajo la subdeterminación semántica, en lugar de intentar maximizarlos independientemente.