Why Sampling Is Not Choosing: Intentionality, Agency, and Moral Responsibility in Large Language Models

Resumen Técnico: Por qué el Muestreo No es Elegir

Planteamiento del Problema
Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLM), particularmente aquellos basados en arquitecturas de transformadores, han suscitado afirmaciones de que estos sistemas exhiben agencia o califican como agentes morales. Si bien las salidas de los LLM pueden ser evaluadas normativamente (evaluadas en cuanto a corrección, adecuación o conformidad con estándares morales), sigue sin estar claro si los modelos mismos son sujetos apropiados de responsabilidad moral. El problema central abordado es la confusión entre las salidas evaluables normativamente y la agencia genuina. El artículo desafía la atribución de responsabilidad moral a los sistemas basados en transformadores, argumentando que sus mecanismos operativos —específicamente los mapeos probabilísticos de entrada-salida y el muestreo estocástico— no constituyen la forma de libre albedrío o de agencia portadora de compromisos requerida para la responsabilidad moral.

Metodología y Marco Conceptual
El artículo emplea un análisis filosófico fundamentado en la filosofía de la mente y la acción, utilizando un marco conceptual específico para definir las condiciones necesarias para la responsabilidad moral:

1. Intencionalidad: El artículo distingue entre intencionalidad intrínseca (significado inherente a un sistema, dirigido hacia objetos para el propio sistema) e intencionalidad derivada (significado atribuido a un sistema por agentes externos). Se apoya en Searle (1980), Harnad (1990) y Brentano (1995) para argumentar que los sistemas computacionales poseen únicamente intencionalidad derivada.
2. Responsabilidad Moral: Definida no meramente como participación causal, sino como una "agencia portadora de compromisos". Esto requiere que un agente sea el autor de sus acciones, capaz de autoatribución y capaz de respaldar o repudiar acciones basándose en razones.
3. Libre Albedrío: Caracterizado no como indeterminismo o aleatoriedad, sino como la capacidad de control sensible a las razones y de propiedad de la acción.
4. Análisis Técnico de los Transformadores: El artículo analiza la arquitectura de los modelos basados en transformadores, centrándose en:
   • Entrenamiento: Optimización mediante la predicción del siguiente token utilizando teacher forcing sobre corpus generados por humanos, aprendiendo regularidades estadísticas en lugar de comprensión semántica.
   • Inferencia: Generación mediante muestreo de una distribución de probabilidad (usando métodos como greedy decoding, escalado de temperatura, top-k o nucleus sampling).
   • Modelos de Razonamiento: Un examen de los sistemas que utilizan cadena de pensamiento (chain-of-thought) o búsqueda basada en árboles, argumentando que estos siguen siendo selecciones estadísticas en lugar de una deliberación genuina.

Argumentos Clave y Resultados
El artículo construye un argumento deductivo para demostrar que los sistemas basados en transformadores no cumplen con las condiciones para la responsabilidad moral:

• Premisa 1: La responsabilidad moral requiere una agencia portadora de compromisos.
• Premisa 2: La agencia portadora de compromisos requiere intencionalidad intrínseca y la capacidad de acción autoatribuida.
• Premisa 3: Tal agencia constituye la forma de libre albedrío relevante para la responsabilidad.
• Premisa 4: Los sistemas basados en transformadores carecen de intencionalidad intrínseca y de acción autoatribuida.
  • Evidencia: Su operación es un mapeo probabilístico aprendido de los datos. La "referencialidad" (aboutness) de sus salidas es derivada de la interpretación humana, no es interna al modelo.
  • Evidencia: La variabilidad introducida por el muestreo estocástico no es "elección" o "autoría"; es aleatoriedad, la cual carece de la propiedad y la sensibilidad a las razones requeridas para el libre albedrío.
  • Evidencia: Incluso los modelos de "razonamiento" (por ejemplo, la cadena de pensamiento) simulan la deliberación, pero en última instancia seleccionan tokens basados en la probabilidad estadística o puntuaciones heurísticas, no en el reconocimiento de razones como tales.
• Conclusión: Por lo tanto, los sistemas basados en transformadores no son sujetos apropiados de responsabilidad moral.

El artículo aborda y refuta posibles contraargumentos, incluyendo la Postura Intencional (atribuir creencias/deseos para utilidad predictiva), el Funcionalismo (definir estados mentales por su función) y el Compatibilismo (reconciliar el determinismo con la responsabilidad). Los autores argumentan que ninguno de estos marcos es suficiente para establecer una agencia genuina en sistemas que carecen de intencionalidad intrínseca y autoatribución.

Contribuciones Clave

1. Cuenta Basada en el Compromiso Novedosa: El artículo desarrolla una cuenta específica de la agencia que vincula la intencionalidad intrínseca con la responsabilidad moral a través de los conceptos de autoría y libre albedrío. Clarifica que la responsabilidad no trata sobre si la salida es evaluable, sino sobre si la fuente es capaz de asumir compromisos.
2. Análisis Técnico-Filosófico Sistemático: Aplica este marco filosófico a las arquitecturas contemporáneas de transformadores, demostrando explícitamente cómo la mecánica de la predicción del siguiente token y el muestreo estocástico imposibilitan la forma de agencia necesaria.
3. Clarificación de los Modelos de "Razonamiento": Extiende la crítica a los modelos de razonamiento avanzados, argumentando que los pasos intermedios (como la cadena de pensamiento) no transforman la selección estadística en una deliberación o autoría genuinas.

Significancia y Reivindicaciones
El artículo afirma proporcionar una explicación filosófica y técnica unificada de por qué la atribución de agencia moral a los LLM es errónea. Su significancia radica en:

• Distinguir la Evaluación de la Agencia: Separa rigurosamente la capacidad de evaluar normativamente la salida de un sistema de la capacidad del sistema para ser held responsable de dicha salida.
• Revisitar Críticas Clásicas: Re-involucra argumentos clásicos respecto a las distinciones entre sintaxis-semántica y el anclaje de símbolos (Searle, Harnad) en el contexto de los LLM modernos, mostrando su relevancia continua.
• Implicaciones Prácticas: El artículo concluye que la responsabilidad por el comportamiento y el despliegue de estos sistemas debe permanecer en los diseñadores humanos, los implementadores y los marcos institucionales. Los esfuerzos para alinear o regular los LLM deben verse como la constricción de herramientas humanas dentro de prácticas normativas, no como la transformación de los sistemas en agentes morales.

El artículo no propone nuevos protocolos experimentales ni aplicaciones futuras; más bien, sirve como un trabajo crítico de delimitación de fronteras, argumentando contra la antropomorfización de mecanismos probabilísticos de entrada-salida.