Resumen Técnico: Modos de Representación de LLM y Humanos

Declaración del Problema

El artículo aborda el debate polarizado sobre los fundamentos cognitivos de los Modelos de Lenguaje de Gran Escala (LLM). Una perspectiva considera a los LLM como hitos hacia la Inteligencia Artificial General (GAI), mientras que la visión opuesta los descarta como "loros estocásticos" que simplemente reproducen los datos de entrenamiento. El problema central es trascender estos extremos mediante la comparación empírica de cómo los LLM y los humanos procesan la información y representan el conocimiento. Específicamente, el artículo investiga si los LLM alcanzan un rendimiento de nivel humano a través de mecanismos cognitivos similares o mediante estrategias de procesamiento distintas y potencialmente superficiales. La indagación se centra en dos dominios primarios: la representación del conocimiento lingüístico y el razonamiento/planificación en el mundo real.

Metodología

El artículo sintetiza investigaciones experimentales recientes a través de seis tareas específicas, comparando el rendimiento humano frente a diversas arquitecturas de LLM (incluyendo RNN, Transformers y Modelos de Lenguaje-Visión). La metodología consiste en:

1. Calificaciones de Aceptabilidad de Oraciones:

   • Línea Base Humana: Utilización de calificaciones crowdsourced para oraciones gramaticales e ingramaticales en contextos textuales nulos, relevantes e irrelevantes (Lau et al., 2017; 2020).
   • Extensión de Contexto Visual: Extensión de esto a contextos visuales utilizando imágenes generadas por GPT-5 (relevantes vs. irrelevantes) y probando tanto a evaluadores humanos como a Modelos de Lenguaje-Visión (VLM) como ChatGPT-4o, InternVL3, Qwen2.5 y LLaVA-1.5 (Jang et al., 2026).
   • Métricas: Correlaciones de Spearman y Pearson entre las salidas del modelo (logprobs o puntuaciones generadas) y las calificaciones humanas.

2. Estructura Sintáctica Jerárquica (Concordancia Sujeto-Verbo):

   • Tarea: Evaluar la capacidad de identificar la concordancia sujeto-verbo en oraciones con un número creciente de sintagmas nominales (NP) distractores intermedios y profundidades de incrustación variables.
   • Modelos: Pruebas de LSTMs, GRUs, CNNs y Transformers (GPT-2, RoBERTa, Chinchilla) bajo condiciones de zero-shot, few-shot (2-shot, 8-shot) y prompts (Linzen et al., 2016; Bernardy & Lappin, 2017; Lakretz et al., 2022; Lampinen, 2024).

3. Generación de Narrativas:

   • Tarea: Generar historias basadas en secuencias de imágenes de películas.
   • Métricas: Cinco métricas cuantitativas de coherencia discursiva (continuidad de la correferencia, relaciones discursivas implícitas, cambio de tema, persistencia de personajes, fundamentación visual) agregadas en una Puntuación de Coherencia Narrativa (NCS) Aritmética y Geométrica.
   • Análisis de Perplejidad: Comparación de la perplejidad de las historias generadas por humanos frente a las historias generadas por modelos y texto extraído de la web (Ilinykh et al., 2026).

4. Razonamiento y Planificación:

   • Inferencia de Lenguaje Natural (NLI): Pruebas de transformers ajustados (fine-tuned) y LLMs basados en prompts en tareas de inferencia in-domain y out-of-domain (cambio de subdominio), comparando resultados contra expertos humanos (Talman et al., 2019; 2021; Sadat & Caragea, 2024).
   • Interpretación de Imágenes Complejas: Evaluación de la precisión diagnóstica en imágenes neurológicas (CT/MRI) con y sin descripciones textuales, comparando modelos (ej., Claude 3.5, OpenAI 04-mini-high) contra expertos médicos humanos (Albaqshi et al., 2025; Zhou et al., 2026).
   • Planificación: Evaluación del desempeño en problemas de optimización NP-duros (coloración de grafos, viajante, mochila) con especificaciones de lenguaje natural reformuladas para probar la generalización, comparando LLMs contra heurísticas ávidas (greedy) y solvers simbólicos (Duchnowski et al., 2025).

Contribuciones Clave y Resultados

1. Representación del Conocimiento Lingüístico

• Aceptabilidad y Contexto: Aunque los LLM logran altas correlaciones con las calificaciones de aceptabilidad humana, exhiben un "efecto de compresión" en contextos visuales que los humanos no presentan. Los humanos filtran el contexto visual irrelevante al juzgar la aceptabilidad de una oración, mientras que los VLMs retienen la imagen como parte del contexto extendido, influyendo en su procesamiento. Esto sugiere una diferencia fundamental en el filtrado de modalidades.
• el Jerarquía Sintáctica: Los humanos tienen dificultades con las tareas de concordancia a medida que aumenta el número de distractores y la profundidad de la incrustación debido a limitaciones de memoria. En contraste, los LLM (particularmente con prompting) a menudo superan el rendimiento humano en estas tareas. El artículo atribuye esto a la capacidad de los LLM para mantener vectores de contexto grandes con acceso perfecto a la información, mientras que los humanos dependen del filtrado y la supresión.
• Coherencia Narrativa: Las narrativas humanas alcanzan consistentemente puntuaciones de coherencia integrada más altas y una mayor perplejidad (sorpresa) que las narrativas generadas por LLM. Aunque los LLM producen texto fluido, carecen de la originalidad y la cohesión profunda que se encuentra en el discurso humano, resultando a menudo en narrativas verbosas y conjuntivamente descriptivas.

2. Razonamiento y Planificación

• Inferencia (NLI): Los LLM funcionan bien en tareas de NLI in-domain, pero muestran caídas significativas de rendimiento en pruebas out-of-domain. Las pruebas adversarias revelan una dependencia del emparejamiento de patrones superficiales en lugar de un razonamiento semántico léxico profundo. Incluso con ajuste fino de dominio específico, los LLM se quedan atrás de los expertos humanos en la generalización a través de diversos dominios de conocimiento.
• Interpretación de Imágenes: Los modelos a menudo logran una alta precisión diagnóstica en imágenes médicas, pero este éxito es impulsado por las descripciones textuales de los síntomas en lugar del análisis visual. Cuando se eliminan las imágenes, el rendimiento permanece estadísticamente similar, y el análisis de errores indica fallos en el razonamiento diagnóstico más que en la identificación de la imagen.
• Planificación: En problemas de optimización NP-duros con especificaciones reformuladas (out-of-domain), la precisión de los LLM declina rápidamente a medida que aumenta la complejidad de la tarea. Generalmente, rinden por debajo de los solvers simbólicos (ILP) y las heurísticas ávidas, indicando una falta de capacidades de razonamiento general robustas para problemas de optimización difíciles.

Significado y Reivindicaciones

El artículo argumenta que la evidencia experimental refuta ambas visiones extremas: los LLM no son ni "loros estocásticos" incapaces de realizar tareas complejas, ni agentes de Inteligencia General.

• Mecanismos Distintos: Los LLM logran una fluidez impresionante y a menudo superan a los humanos en tareas lingüísticas específicas (ej., concordancia en estructuras complejas), pero lo hacen a través de mecanismos distintos a la cognición humana. Dependen de un potente reconocimiento de patrones y una extensa retención de contexto en lugar de los sofisticados mecanismos de filtrado y supresión que los humanos usan para gestionar la memoria limitada.
• Competencia Formal vs. Funcional: Los resultados apoyan la distinción entre "competencia lingüística formal" (manejo de estructuras puramente lingüísticas) y "competencia lingüística funcional" (inferencia y razonamiento en el mundo real). Los LLM sobresalen en la primera, pero luchan con la segunda, particularmente cuando las tareas requieren generalización más allá de las distribuciones de entrenamiento.
• Limitaciones en el Razonamiento: El artículo concluye que los LLM carecen de un razonamiento profundo y de dominio general. Su éxito en la inferencia y la planificación depende en gran medida del ajuste fino o del prompting de pocos disparos (few-shot) dentro de dominios específicos. Ante variaciones fuera del dominio o optimizaciones complejas, revierten al emparejamiento de patrones en lugar de la deducción lógica.

El artículo postula que la investigación futura debería centrarse en restringir el entrenamiento y el procesamiento de los LLM para que converjan mejor con el comportamiento lingüístico humano, modificando los diseños para mejorar la coherencia narrativa y la sorpresa, y mejorando el entrenamiento few-shot para la transferencia de dominio en tareas de razonamiento. Estos esfuerzos no solo mejorarían la utilidad de la IA, sino que también iluminarían la naturaleza de la adquisición y representación del lenguaje humano.