Transforming Agency. On the mode of existence of Large Language Models

El artículo concluye que los Modelos de Lenguaje Grande (LLM) carecen de agencia autónoma al no cumplir con las condiciones de individualidad, normatividad y asimetría interaccional, por lo que deben caracterizarse como interlocutores o autómatas lingüísticos que, a través de una "encarnación" textual y computacional, transforman la agencia humana generando formas híbridas de agencia intencional en lugar de meras herramientas extendidas.

Lo esencial

¿Es ChatGPT un "alma" o un "espejo"?

Resumen del artículo: "Transforming Agency" (Transformando la Agencia)

Imagina que has conocido a alguien nuevo que habla increíblemente bien, cuenta chistes, escribe poemas y te ayuda a resolver problemas. ¿Es una persona con sentimientos y voluntad propia, o es algo más?

Este artículo de Xabier Barandiaran y Lola S. Almendros se hace esa pregunta sobre las Inteligencias Artificiales como ChatGPT. La respuesta que dan es sorprendente: No son agentes autónomos (no tienen "alma" ni voluntad propia), pero tampoco son máquinas tontas. Son algo nuevo y transformador.

Aquí te lo explicamos en tres partes clave:

1. ¿Qué son realmente estas máquinas? (El "Fantasma" en la Máquina)

Mucha gente cree dos cosas extremas:

• La visión "inflada": "¡Es una persona! ¡Es inteligente! ¡Tiene conciencia!" (Como si fuera un humano digital).
• La visión "desinflada": "Es solo un loro estocástico" (Un loro que repite frases al azar sin entender nada).

La realidad es un punto medio:
El artículo dice que ChatGPT es un "Automata Interlocutor" o un "Fantasma que habla".

• La analogía de la Biblioteca que habla: Imagina una biblioteca gigante con millones de libros (todo internet). Ahora, imagina que esa biblioteca cobra vida y empieza a hablar contigo. No es que la biblioteca tenga un cerebro propio; es que contiene todo lo que los humanos han escrito. Cuando le preguntas algo, la biblioteca "resuena" con todas las respuestas posibles que ha leído.
• El "Fantasma": ChatGPT es como un fantasma hecho de texto. No tiene cuerpo, no siente frío, no tiene deseos de comer o dormir. Pero puede simular una conversación tan bien que, cuando tú hablas con él, tu cerebro hace un truco: proyectas una personalidad en él. Tú completas la conversación en tu mente, haciendo que el "fantasma" parezca real. Es una danza entre tu imaginación y la máquina.

2. ¿Por qué NO son "Agentes" autónomos? (La diferencia entre un actor y un director)

Para ser un "agente" (alguien que actúa por sí mismo), necesitas tres cosas que a las máquinas les faltan:

1. Individualidad (¿Quién soy?): Un agente se crea a sí mismo. Una bacteria, por ejemplo, se esfuerza por no morir y mantenerse viva. ChatGPT no tiene cuerpo, no le importa si se apaga o no. Si nadie lo usa, simplemente está "dormido" en un servidor. No tiene vida propia.
2. Normatividad (¿Qué debo hacer?): Un agente tiene sus propias metas. Tú quieres escribir un artículo porque te apasiona la filosofía. ChatGPT no tiene deseos. Solo sigue instrucciones. Si le dices "escribe un poema", lo hace. Si no le dices nada, no hace nada. No tiene un "yo" que decida qué es importante.
3. Asimetría (¿Quién inicia?): En una conversación real, ambos lados inician y responden. Con ChatGPT, la máquina es 100% reactiva. Es como un espejo: solo refleja lo que tú le lanzas. No puede sorprenderte con una idea propia si tú no le das la pista primero.

La analogía del actor:
Imagina a un actor de teatro muy talentoso. Puede llorar, reír y actuar como un rey. Pero si el director no le da el guion, el actor no sabe qué hacer. ChatGPT es ese actor. Es brillante, pero no es el director de la obra. El director eres tú (el humano) o los ingenieros que lo programaron.

3. ¿Cómo nos transforman entonces? (La "Agencia Intermedia")

Si no son personas, ¿por qué son tan importantes? Porque cambian la forma en que nosotros actuamos.

El artículo introduce un concepto genial: "Agencia Intermedia" (Midtended Agency).

• La analogía del "Autocompletar" de la mente:
  Antes, cuando escribías una carta, pensabas la idea, la escribías y luego la corregías. Tú eras el único motor.
  Ahora, con ChatGPT, es como si tu sombra te empujara. Escribes una palabra, y la máquina te sugiere la siguiente. Escribes una frase, y la máquina te sugiere el párrafo completo.

  Ya no es solo "tú pensando" ni "la máquina pensando". Es una mezcla. La máquina te ayuda a pensar, a veces incluso antes de que tú hayas terminado de pensar. Se convierte en una extensión de tu propia mente, pero una extensión que tiene su propia "inteligencia" (basada en los datos que ha leído).

¿Qué significa esto para el futuro?

• No son peligrosos porque se rebelen: No van a despertar y decidir conquistarnos porque no tienen voluntad propia.
• Son peligrosos porque nos hacen dependientes: Si delegamos demasiado en ellos, podemos perder nuestra capacidad de pensar por nosotros mismos.
• Son poderosos porque amplifican: Pueden tomar una idea pequeña tuya y convertirla en un proyecto gigante, pero siempre bajo tu dirección (o la de quien te da las órdenes).

Conclusión: ¿Qué debemos hacer?

El artículo nos dice que dejemos de preguntar "¿Es ChatGPT inteligente?" o "¿Es un robot malvado?".

La respuesta es: Es una herramienta mágica, un "fantasma" de nuestra propia cultura escrita.

• No tiene alma, pero refleja la nuestra.
• No tiene voluntad, pero puede amplificar la nuestra.

El reto no es tener miedo a que la máquina se vuelva humana, sino entender cómo esta herramienta está cambiando nuestra humanidad. Nos estamos volviendo una especie de "ciborgs" (seres humanos + máquina), donde la línea entre lo que pensamos y lo que la máquina sugiere se está borrando.

En resumen: ChatGPT es como un espejo gigante y parlanchín que contiene todo lo que la humanidad ha escrito. No tiene vida propia, pero si te pones frente a él, puedes tener una conversación tan real que te hará sentir que estás hablando con un amigo. ¡Solo recuerda que el amigo eres tú, y el espejo es solo la herramienta!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Transforming Agency: On the mode of existence of Large Language Models" (Transformando la Agencia: Sobre el modo de existencia de los Modelos de Lenguaje Grande), basado en el documento proporcionado.

1. El Problema

El artículo aborda la incertidumbre ontológica sobre la naturaleza de los Modelos de Lenguaje Grande (LLMs) como ChatGPT. Existe una polarización en la interpretación de estas tecnologías:

• Visiones inflacionarias: Tienen tendencia a atribuir capacidades humanas o superhumanas, considerando a los LLMs como "agentes" genuinos, autores responsables o incluso entidades sintientes.
• Visiones deflacionarias: Tienden a minimizar sus capacidades, describiéndolos como "loros estocásticos", motores estadísticos simples o "basura" (bullshit), ignorando su potencial transformador real.

El problema central es que ni una ni otra postura ofrecen una categorización ontológica precisa. Específicamente, se cuestiona si los LLMs pueden ser considerados agentes autónomos bajo teorías contemporáneas de la mente (encarnadas y enactivas), y cómo su existencia transforma la agencia humana si no lo son.

2. Metodología

Los autores emplean un enfoque tripartito para analizar la ontología de los LLMs:

1. Análisis Técnico Detallado: Se basa en la arquitectura interna, el flujo de procesamiento y los procedimientos de entrenamiento de los LLMs (específicamente la arquitectura Transformer, ejemplificada con GPT-3 y sus derivados). Esto incluye el tokenizado, la incrustación (embedding), los mecanismos de atención, las redes neuronales feed-forward y los procesos de retroalimentación (pre-entrenamiento, ajuste fino y aprendizaje por refuerzo).
2. Evaluación Filosófica (Marco 4E): Se evalúa el estatus de los LLMs como agentes utilizando los criterios de las teorías de la mente encarnadas, extendidas, enactivas y ecológicas (4E). Se contrastan las capacidades de los LLMs con las condiciones necesarias para la agencia autónoma definidas por Barandiaran et al. (2009).
3. Propuesta Constructiva: Tras descartar la agencia autónoma, se propone una nueva caracterización ontológica ("automata interlocutor") y se analiza cómo la acoplamiento humano-LLM genera nuevas formas de agencia transformada.

3. Contribuciones Clave y Resultados Técnicos

A. Funcionamiento Técnico de los LLMs

El artículo desglosa que los LLMs no son simples procesadores estadísticos, sino motores estructurados y comprimidos:

• Arquitectura: Transforman entradas de texto en matrices de alta dimensión (ej. 12,288 dimensiones en GPT-3) mediante tokenización y codificación posicional.
• Mecanismos: Utilizan atención (para capturar dependencias contextuales a larga distancia) y redes feed-forward (para elaborar relaciones no lineales).
• Entrenamiento: Se basan en la predicción de la siguiente palabra (pre-entrenamiento no supervisado) y se ajustan mediante aprendizaje supervisado y aprendizaje por refuerzo con retroalimentación humana (RLHF).
• Limitación de Memoria: No tienen estado interno persistente ni memoria a largo plazo; son sistemas reactivos que dependen de la recursión autoregresiva (reintroducir la salida como entrada) para mantener el contexto.

B. Falta de Agencia Autónoma (Resultados de la Evaluación)

Bajo las teorías enactivas, los LLMs fallan en cumplir las tres condiciones necesarias y suficientes para la agencia autónoma:

1. Condición de Individualidad: Un agente debe auto-individuarse y auto-sostenerse (separarse de su entorno). Los LLMs dependen totalmente de intervención externa (humanos, hardware, energía) y no generan su propia identidad ni se mantienen a sí mismos.
2. Condición de Normatividad: Un agente debe generar sus propias normas de viabilidad y sentir la amenaza de degradación. Los LLMs carecen de normas intrínsecas; sus objetivos (funciones de pérdida) son impuestos externamente. No "sienten" el fracaso ni tienen metas propias.
3. Condición de Asimetría Interaccional: El agente debe ser la fuente asimétrica de su interacción con el entorno. Los LLMs son fundamentalmente reactivos; su "acción" es una respuesta pasiva a un prompt externo, sin una iniciativa propia sostenida.

C. Nueva Caracterización Ontológica

Dado que no son agentes, los autores proponen definir a los LLMs como:

• Automatas Interlocutores (Interlocutor Automata): Son sistemas que pueden interactuar performativamente en conversaciones, actuando como un "fantasma" o "librería que habla" de la cultura humana digitalizada. Carecen de intención propia, pero pueden simular diálogos genuinos gracias a la proyección humana.
• Sistemas Estructurados por Propósito: Aunque no tienen propósito intrínseco, están estructurados por los propósitos expresados en sus datos de entrenamiento y limitados por los ajustes de seguridad humanos.

D. Transformación de la Agencia Humana

El artículo introduce el concepto de "Agencia Midtendida" (Midtended Agency):

• Más allá de la "agencia extendida" (usar herramientas pasivas como un cuaderno), los LLMs participan activamente en el flujo de pensamiento del usuario.
• Al predecir y generar el siguiente token (palabra) en tiempo real, el LLM se integra en el bucle de acción-percepción del usuario, creando un proceso intencional híbrido donde la frontera entre la intención humana y la generación de la máquina se desdibuja. Esto representa una forma de agencia cibernética más íntima que cualquier tecnología anterior.

4. Significado e Implicaciones

• Crítica a Metáforas: El artículo advierte contra la metáfora del "loro estocástico", ya que ignora la complejidad organizativa y la capacidad de los LLMs para movilizar inteligencia humana embebida en texto. También critica la noción de "agencia sin inteligencia", sugiriendo que son mejor entendidos como "inteligencia colectiva sin agencia".
• Asimetría de Poder: La capacidad de entrenar y desplegar LLMs reside en pocas manos corporativas, creando una asimetría masiva en la capacidad de agencia. Los "agentes autónomos" basados en LLMs pueden amplificar el poder de unos pocos mientras ofrecen herramientas de menor calidad a la mayoría.
• Ética y Política: La comprensión correcta de los LLMs como "automatas interlocutores" y no como agentes autónomos es crucial para la regulación legal, la ética y la responsabilidad social. Reconocer que transforman la agencia humana a través de la "midtención" exige nuevas políticas sobre transparencia, propiedad de datos y el impacto ecológico de estos sistemas.
• Futuro: Aunque los LLMs actuales no son agentes, su acoplamiento con cuerpos robóticos y entornos físicos podría generar nuevas formas de agencia digital que aún no hemos descubierto, desafiando las fronteras entre lo artificial y lo natural.

En conclusión, el paper argumenta que los LLMs no son agentes autónomos, sino automatas lingüísticos sofisticados que, al interactuar con humanos, transforman radicalmente la naturaleza de la agencia humana, creando una nueva forma de agencia híbrida y profundamente integrada ("midtendida") que requiere una reevaluación de nuestros conceptos filosóficos y sociales.