Why Sampling Is Not Choosing: Intentionality, Agency, and Moral Responsibility in Large Language Models

Resumo Técnico: Por que a Amostragem não é Escolha

Declaração do Problema
Avanços recentes em Grandes Modelos de Linguagem (LLMs), particularmente aqueles baseados em arquiteturas de transformer, suscitaram alegações de que esses sistemas exibem agência ou se qualificam como agentes morais. Embora os outputs de LLMs possam ser avaliados normativamente (avaliados quanto à correção, adequação ou conformidade com padrões morais), permanece incerto se os próprios modelos são sujeitos apropriados de responsabilidade moral. O problema central abordado é a confusão entre outputs normativamente avaliáveis e agência genuína. O artigo contesta a atribuição de responsabilidade moral a sistemas baseados em transformer, argumentando que seus mecanismos operacionais — especificamente os mapeamentos probabilísticos de entrada-saída e a amostragem estocástica — não constituem a forma de livre-arbítrio ou agência de compromisso necessária para a responsabilidade moral.

Metodologia e Estrutura Conceitual
O artigo emprega uma análise filosófica fundamentada na filosofia da mente e da ação, utilizando uma estrutura conceitual específica para definir as condições necessárias para a responsabilidade moral:

1. Intencionalidade: O artigo distingue entre intencionalidade intrínseca (significado inerente a um sistema, direcionado a objetos para o próprio sistema) e intencionalidade derivada (significado atribuído a um sistema por agentes externos). Baseia-se em Searle (1980), Harnad (1990) e Brentano (1995) para argumentar que sistemas computacionais possuem apenas intencionalidade derivada.
2. Responsabilidade Moral: Definida não meramente como participação causal, mas como "agência de compromisso". Isso requer que um agente seja o autor de suas ações, capaz de autoatribuição e capaz de endossar ou repudiar ações com base em razões.
3. Livre-Arbítrio: Caracterizado não como indeterminismo ou aleatoriedade, mas como a capacidade de controle responsivo a razões e de propriedade da ação.
4. Análise Técnica de Transformers: O artigo analisa a arquitetura de modelos baseados em transformer, focando em:
   • Treinamento: Otimização via previsão do próximo token usando teacher forcing em corpora gerados por humanos, aprendendo regularidades estatísticas em vez de compreensão semântica.
   • Inferência: Geração via amostragem de uma distribuição de probabilidade (usando métodos como greedy decoding, escalonamento de temperatura, top-k ou nucleus sampling).
   • Modelos de Raciocínio: Um exame de sistemas que utilizam chain-of-thought (cadeia de pensamento) ou busca baseada em árvore, argumentando que estes permanecem como seleções estatísticas em vez de deliberação genuína.

Argumentos Principais e Resultados
O artigo constrói um argumento dedutivo para demonstrar que sistemas baseados em transformer falham em satisfazer as condições para a responsabilidade moral:

• Premissa 1: A responsabilidade moral requer agência de compromisso.
• Premissa 2: A agência de compromisso requer intencionalidade intrínseca e a capacidade de ação autoatribuída.
• Premissa 3: Tal agência constitui a forma de livre-arbítrio relevante para a responsabilidade.
• Premissa 4: Sistemas baseados em transformer carecem de intencionalidade intrínseca e de ação autoatribuída.
  • Evidência: Sua operação é um mapeamento probabilístico aprendido a partir de dados. A "referencialidade" (aboutness) de seus outputs é derivada da interpretação humana, não é interna ao modelo.
  • Evidência: A variabilidade introduzida pela amostragem estocástica não é "escolha" ou "autoria"; é aleatoriedade, que carece da propriedade e da responsividade a razões exigidas pelo livre-arbítrio.
  • Evidência: Mesmo modelos de "raciocínio" (ex: chain-of-thought) simulam deliberação, mas, em última análise, selecionam tokens com base em probabilidade estatística ou pontuação heurística, não no reconhecimento de razões como razões.
• Conclusão: Portanto, sistemas baseados em transformer não são sujeitos apropriados de responsabilidade moral.

O artigo aborda e refuta potenciais contra-argumentos, incluindo a Postura Intencional (atribuir crenças/desejos para utilidade preditiva), o Funcionalismo (definir estados mentais pela função) e o Compatibilismo (reconciliar o determinismo com a responsabilidade). Os autores argumentam que nenhum desses frameworks é suficiente para estabelecer agência genuína em sistemas que carecem de intencionalidade intrínseca e autoatribuição.

Principais Contribuições

1. Conta de Compromisso Inovadora: O artigo desenvolve uma conta específica de agência que vincula a intencionalidade intrínseca à responsabilidade moral através dos conceitos de autoria e livre-arbítrio. Esclarece que a responsabilidade não trata do output ser avaliável, mas do objeto fonte ser capaz de compromisso.
2. Análise Técnico-Filosófica Sistemática: Aplica este framework filosófico às arquiteturas contemporâneas de transformers, demonstrando explicitamente como a mecânica de previsão do próximo token e a amostragem estocástica impedem a forma necessária de agência.
3. Clarificação de Modelos de "Raciocínio": Estende a crítica aos modelos avançados de "raciocínio", argumentando que etapas intermediárias (como o chain-of-thought) não transformam a seleção estatística em deliberação ou autoria genuínas.

Significância e Alegações
O artigo afirma fornecer uma explicação filosófica e técnica unificada sobre por que atribuir agência moral a LLMs é equivocado. Sua significância reside em:

• Distinguir Avaliação de Agência: Separa rigorosamente a capacidade de avaliar normativamente o output de um sistema da capacidade do sistema de ser responsabilizado por esse output.
• Revisitar Críticas Clássicas: Reengaja argumentos clássicos sobre distinções sintaxe-semântica e ancoragem de símbolos (Searle, Harnad) no contexto de LLMs modernos, mostrando sua relevância contínua.
• Implicações Práticas: O artigo conclui que a responsabilidade pelo comportamento e implantação desses sistemas deve permanecer com os designers humanos, implantadores e estruturas institucionais. Os esforços para alinhar ou regular LLMs devem ser vistos como o ato de restringir ferramentas humanas dentro de práticas normativas, não como a transformação dos sistemas em agentes morais.

O artigo não propõe novos protocolos experimentais ou aplicações futuras; em vez disso, serve como um trabalho de estabelecimento de limites críticos, argumentando contra a antropomorfização de mecanismos probabilísticos de entrada-saída.