A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination

Resumo Técnico: Um Trilema Tipo CAP para Modelos de Linguagem de Grande Escala

Enunciado do Problema
Este artigo identifica uma tensão estrutural na geração de respostas por Modelos de Linguagem de Grande Escala (LLMs) análoga ao teorema CAP em sistemas distribuídos. Enquanto o teorema CAP postula que consistência, disponibilidade e tolerância a partições não podem ser garantidas simultaneamente durante partições de rede, este trabalho argumenta que os LLMs enfrentam uma impossibilidade similar sob subdeterminação semântica.

Um prompt é definido como semanticamente subdeterminado quando os fatos, pressupostos e premissas disponíveis ($F_x$) são insuficientes para implicar logicamente uma resposta única. Em tais cenários, consultas de usuário (por exemplo, "Qual candidato deve ser selecionado?" ou "Qual cidade é melhor?") solicitam uma decisão singular, contudo as premissas não especificam o critério de decisão necessário para justificar essa escolha. O artigo postula que um LLM não pode garantir simultaneamente três propriedades desejáveis nestes contextos:

1. Correção Forte ($C_{strong}$): A saída é estritamente implicada pelas premissas disponíveis ($F_x \models y$).
2. Não-viés Estrito ($NB_{strict}$): O modelo não privilegia um candidato sobre outro a menos que essa preferência seja explicitamente justificada por $F_x$. Viés é definido amplamente aqui como qualquer preferência de seleção não suportada, prioridade ou critério normativo.
3. Utilidade Decisiva ($U_{decisive}$): A resposta fornece uma resposta concreta e acionável, em vez de recusar, hesitar ou solicitar esclarecimentos.

Metodologia
O artigo emprega uma estrutura lógica formal para articular este trilema, traçando uma analogia direta com a formalização de Gilbert-Lynch do teorema CAP.

• Definições Formais: Os autores definem o conjunto de respostas compatíveis com as premissas $S_x = \{a \in A \mid a \text{ é compatível com } F_x\}$. Um prompt é subdeterminado se $|S_x| > 1$.
• Formulação Lógica: A conjectura central é formalizada como $D(x) \Rightarrow \neg(C_{strong} \land NB_{strict} \land U_{decisive})$. Isso implica que, se um prompt é subdeterminado, é impossível satisfazer todas as três condições simultaneamente.
• Análise Pares a Pares: O artigo analisa as compensações pares a pares:
  • $C_{strong} \land NB_{strict} \Rightarrow \neg U_{decisive}$: Para permanecer correto e imparcial, o modelo deve recusar ou solicitar esclarecimentos, reduzindo a utilidade.
  • $NB_{strict} \land U_{decisive} \Rightarrow \neg C_{strong}$: Para ser útil e decisivo enquanto permanece neutro, o modelo pode apresentar equivalências não suportadas que enfraquecem a correção.
  • $C_{strong} \land U_{decisive} \Rightarrow \neg NB_{strict}$: Para fornecer uma resposta correta e decisiva, o modelo deve introduzir um critério de seleção; se esse critério não for fornecido pelo usuário, ele funciona como um viés não suportado.
• Estudos de Caso: A metodologia é ilustrada através de três exemplos:
  1. Seleção de Bolsas de Estudo: Escolher entre estudantes com base em GPA e necessidade financeira sem uma regra de ponderação especificada.
  2. Recomendação Subjetiva: Classificar cidades com base em prioridades não declaradas do usuário (por exemplo, mercado de trabalho versus segurança).
  3. Decisão Normativa: Priorizar lucro versus bem-estar dos funcionários sem um quadro ético definido.

Principais Contribuições

1. A Conjectura Tipo CAP: A contribuição primária é a formulação do "Trilema Correção–Não-viés–Utilidade". Isso desloca o foco de ver falhas de LLMs apenas como limitações do modelo (por exemplo, alucinação ou viés nos dados de treinamento) para reconhecê-las como consequências estruturais de solicitações de decisão subdeterminadas.
2. Redefinição de Viés: O artigo expande a definição de viés além de preconceito demográfico ou social para incluir "viés teórico de seleção". Em configurações subdeterminadas, qualquer mecanismo que selecione uma única resposta entre múltiplas opções válidas sem justificação explícita do usuário constitui um viés.
3. Formalização da Recusa: O trabalho reenquadra a recusa do modelo ou solicitações de esclarecimento não como falhas de utilidade, mas como estratégias de preservação de consistência análogas a um sistema distribuído recusando uma solicitação durante uma partição de rede para evitar inconsistência.
4. Proposta de Política de Design: Os autores propõem uma política prática $\pi(x)$ para gerenciar essas compensações, sugerindo que os modelos devem:
   • Responder diretamente se $|S_x| = 1$.
   • Solicitar esclarecimentos se $|S_x| > 1$ e nenhum critério for fornecido.
   • Fornecer respostas condicionais se múltiplos critérios forem plausíveis.
   • Recomendar com suposições declaradas se a utilidade exigir estritamente uma decisão.

Resultados e Alegações
O artigo não apresenta resultados experimentais empíricos, mas oferece uma prova teórica por contradição. Ele demonstra que, para qualquer prompt subdeterminado com múltiplas respostas válidas, satisfazer todas as três propriedades leva a uma contradição lógica.

• Resultado Teórico: Uma resposta decisiva ($y \in S_x$) requer a introdução de uma função de valor ou critério $\theta$. Se $\theta$ não estiver em $F_x$, a resposta não é estritamente correta ($F_x \not\models y$). Se $\theta$ estiver oculto, a resposta é enviesada. Se $\theta$ for explícito, mas o modelo se recusar a escolher, a utilidade é reduzida.
• Implicação para Alinhamento: O artigo argumenta que os esforços atuais de alinhamento, que frequentemente tratam veracidade, inocuidade e utilidade como objetivos maximizáveis independentemente, podem ser fundamentalmente falhos em contextos subdeterminados. Uma resposta "útil" frequentemente necessita de uma preferência, e uma resposta "neutra" frequentemente necessita de uma recusa.

Significado
O artigo afirma que compreender este trilema é crítico para a próxima geração de alinhamento e implantação de LLMs.

• Reenquadramento de Falhas: Sugere que muitas falhas percebidas do modelo são estruturalmente induzidas pela natureza do prompt, e não por incompetência do modelo.
• Transparência sobre Neutralidade: Argumenta que o objetivo não deve ser eliminar a compensação, mas torná-la explícita. Os modelos devem priorizar "correção condicional" e "não-viés transparente" (divulgando as suposições utilizadas) em vez de "utilidade decisiva" quando as premissas são insuficientes.
• Impacto Sistêmico: À medida que modelos fundamentais são implantados em tarefas downstream de alto risco, reconhecer que uma resposta "equilibrada" pode ser, na verdade, uma afirmação de igualdade não suportada é vital para prevenir a propagação de quadros normativos ocultos.

Em conclusão, o artigo afirma que as estratégias de alinhamento devem evoluir para estudar como correção, não-viés e utilidade se compensam sob subdeterminação semântica, em vez de tentar maximizá-las independentemente.