Six Fallacies in Substituting Large Language Models for Human Participants

Resumen Técnico: Seis falacias al sustituir participantes humanos por modelos de lenguaje de gran tamaño

Planteamiento del problema
El rápido avance de los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) ha impulsado una propuesta dentro de las ciencias del comportamiento y la psicología para sustituir a los participantes humanos por "muestras de silicio" o "participantes simulados" para la recolección de datos. Sus defensores sugieren que los LLM pueden reflejar las respuestas humanas promedio en tareas que van desde el razonamiento moral hasta la percepción del lenguaje, ofreciendo una alternativa eficiente en recursos a la recolección de datos humanos. Sin embargo, esta "perspectiva de reemplazo" carece de un escrutinio metodológico y teórico crítico. El artículo identifica un riesgo epistémico fundamental: los investigadores pueden confundir las capacidades estadísticas de los LLM con la cognición humana, lo que conduce a inferencias inválidas sobre la psicología humana. El problema central es la falta de un marco para distinguir entre los LLM como simuladores del comportamiento lingüístico frente a reemplazos de los participantes humanos, una distinción necesaria para preservar la validez de la investigación.

Metodología
Este artículo emplea un análisis conceptual crítico en lugar de una experimentación empírica. El autor deconstruye sistemáticamente la "perspectiva de reemplazo" identificando y analizando seis falacias interpretativas específicas que surgen cuando los LLM se tratan como sustitutos humanos. El análisis se basa en:

• Teoría computacional: Examen de la arquitectura de los LLM (predicción de tokens autorregresiva, mecanismos de transformador, RLHF) frente a la inteligencia biológica (experiencia encarnada, restricciones evolutivas).
• Marcos filosóficos: Utilización de conceptos como el argumento de la "Habitación China", la realizabilidad múltiple y la distinción entre equivalencia funcional y mecanicista.
• Literatura empírica existente: Síntesis de hallazgos de estudios recientes (p. ej., Aher et al., 2023; Binz & Schulz, 2023a; Dillion et al., 2023) que demuestran tanto las capacidades como las limitaciones de los LLM en tareas psicológicas.
• Teoría de la validez: Aplicación de estándares de validez de la investigación (interna, externa y de constructo) para evaluar las amenazas planteadas por cada falacia.

Contribuciones clave
La contribución principal del artículo es la identificación y exposición detallada de seis falacias interpretativas que socavan la validez del uso de los LLM como reemplazos humanos:

1. Falacia de la predicción de tokens como inteligencia humana: El error de equiparar el emparejamiento de patrones estadísticos (predicción del siguiente token) con la verdadera comprensión humana. Los LLM carecen de experiencia encarnada, de base sensoriomotora y de conciencia, operando en su lugar como modelos estadísticos "no fundamentados". Capturan la forma lingüística pero no la intención comunicativa ni el significado derivado de la experiencia vivida.
2. La falacia del humano promedio: El supuesto de que los resultados de los LLM representan al humano "promedio". El artículo sostiene que los LLM no son muestras representativas debido a los sesgos en los datos de entrenamiento (predominantemente poblaciones WEIRD), el sesgo de recencia temporal y la influencia del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), que optimiza la utilidad y la seguridad en lugar de reflejar la diversidad o las idiosincrasias humanas puras.
3. Falacia de la alineación como explicación: El malentendido de que la alineación superficial entre los resultados de los LLM y los humanos implica mecanismos cognitivos compartidos. El artículo enfatiza la "realizabilidad múltiple", señalando que diferentes sistemas (estadísticos frente a biológicos) pueden producir salidas idénticas mediante procesos internos distintos. La similitud en la salida no prueba la equivalencia mecanicista.
4. Falacia de la antropomorfización: La tendencia a atribuir estados mentales humanos (creencias, intenciones, emociones) a los LLM basándose en la generación de lenguaje fluido. Esto conduce a la "ilusión del usuario de lenguaje", donde los investigadores malinterpretan artefactos estadísticos como expresiones de una vida mental interna, invalidando constructos que presuponen conciencia.
5. Falacia de la esencialización de la identidad: La práctica de instar a los LLM con etiquetas demográficas estáticas (p. ej., "mujer negra", "estadounidense") como si estas categorías representaran rasgos homogéneos y fijos. Esto reduce las identidades humanas fluidas, interseccionales y contextuales a estereotipos, fallando en capturar el matiz de la negociación de la identidad en el mundo real.
6. Falacia de la sustitución: El presupuesto de que los datos generados por LLM pueden reemplazar directamente la evidencia humana sin validación. Esto ignora la naturaleza estática de los datos de entrenamiento (cortes de conocimiento), el riesgo de sistemas de información de bucle cerrado (donde los modelos amplifican los sesgos pasados) y la incapacidad de los modelos para adaptarse a los cambios sociales en tiempo real.

Resultados y análisis
El análisis demuestra que, si bien los LLM pueden funcionar como herramientas de simulación pragmática (Equivalencia de Nivel 1), no cumplen con los criterios para la inferencia explicativa (Nivel 2) o la atribución fenomenológica (Nivel 3).

• Limitaciones técnicas vs. conceptuales: El artículo distingue entre limitaciones técnicas (p. ej., sesgo de datos, sensibilidad al prompting), que pueden abordarse mediante la ingeniería, y limitaciones conceptuales (p. ej., falta de fundamentación, agencia y subjetividad), que son intrínsecas al paradigma actual de la predicción estadística de texto.
• Amenazas a la validez: Se demuestra que cada falacia compromete aspectos específicos de la validez de la investigación. Por ejemplo, la "Falacia del humano promedio" amenaza la validez externa (generalizabilidad), mientras que la "Falacia de la alineación como explicación" amenaza la validez interna (inferencia causal).
• Salvaguardas: Para cada falacia, el artículo propone salvaguardas metodológicas específicas, incluyendo:
  • Validar los resultados de los LLM contra datos humanos.
  • Utilizar un prompting contextualizado e interseccional en lugar de etiquetas esencialistas.
  • Distinguir entre equivalencia funcional y mecanicista en los informes.
  • Implementar diseños de investigación secuenciales donde los LLM se utilicen para la generación de hipótesis, pero los hallazgos se validen con participantes humanos.

Significancia y reclamos
El artículo sostiene que la "perspectiva de reemplazo" es fundamentalmente errónea porque identifica incorrectamente la naturaleza de los LLM. Los LLM no son "mentes", sino "simuladores de lenguaje neuronal" que revelan dinámicas psicológicas latentes incrustadas en el texto, en lugar de ser las mentes mismas.

• Reencuadre del rol de la IA: El autor aboga por un cambio en la conceptualización de los LLM, pasando de sustitutos a herramientas complementarias. Son valiosos para el prototipado rápido, el juego de roles y el modelado computacional, siempre que sus resultados sean rigurosamente validados contra datos humanos.
• Preservación de la integridad de la investigación: Al exponer estas falacias, el artículo busca prevenir la erosión de la validez de la investigación en las ciencias del comportamiento. Advierte que la sustitución acrítica conlleva el riesgo de crear cámaras de eco epistémicas y representar erróneamente la cognición humana.
• Conclusión modesta: El artículo no afirma que los LLM nunca podrán simular el comportamiento humano con mayor precisión, ni niega su utilidad. En cambio, afirma que los LLM actuales, y aquellos previsibles bajo el paradigma estadístico actual, no pueden reemplazar a los participantes humanos para la comprensión teórica de la mente humana debido a las diferencias fundamentales en la fundamentación y la conciencia. El objetivo final es aprovechar los LLM de manera productiva respetando las distinciones ontológicas y epistemológicas entre la inteligencia de las máquinas y el pensamiento humano.