The Rise and Fall of $G$ in AGI

Este artículo aplica el análisis de componentes principales a una matriz de modelos y benchmarks temporales para demostrar que, aunque la inteligencia artificial general (AGI) muestra inicialmente una fuerte factorización unidimensional similar al factor $g$ psicológico, esta estructura unificada se descompone a medida que surgen modelos especializados y herramientas de razonamiento, revelando una evolución desde una inteligencia general hacia sistemas de inteligencia especializada.

Lo esencial

🧠 El Ascenso y la Caída de la "Inteligencia General" en la IA

Imagina que estás en una escuela muy especial donde los estudiantes no son niños, sino Inteligencias Artificiales (IA). Cada año, estos estudiantes se presentan a una serie de exámenes: matemáticas, redacción de código, preguntas de historia y lógica.

El autor de este artículo, David Krakauer, se preguntó: ¿Existe una "inteligencia general" en estas máquinas, igual que en los humanos? En psicología, esto se llama el factor $g$ (de general). La idea es que si alguien es bueno en matemáticas, probablemente también sea bueno en historia, porque hay una "energía mental" única que impulsa todo.

Aquí está lo que descubrió el autor, explicado con analogías:

1. La Gran Manada (El "Manifiesto Positivo")

Al principio (entre 2019 y 2023), los modelos de IA funcionaban como una manada de elefantes. Si un elefante era fuerte, todos lo eran. Si un modelo mejoraba en matemáticas, automáticamente mejoraba en todo lo demás.

• La analogía: Imagina que todos los estudiantes de la escuela suben de nota al mismo tiempo. Si sacas un 10 en matemáticas, sacas un 10 en arte. Esto se llama un "manifiesto positivo".
• El hallazgo: Los investigadores midieron esto y vieron que, efectivamente, existía un "factor G" muy fuerte. De hecho, explicaba el 90% de las diferencias entre los modelos. Era como si todos fueran versiones más grandes de lo mismo.

2. El Momento de la Verdad: ¿Siguen siendo todos iguales?

Pero luego, las cosas cambiaron. A partir de finales de 2024, los laboratorios de IA empezaron a hacer cosas diferentes. Algunos modelos empezaron a usar herramientas (como calculadoras o buscadores web) y otros empezaron a pensar paso a paso (como un detective resolviendo un caso).

Aquí es donde ocurre la "Caída de G".

• La analogía: Imagina que la escuela decide que, para el examen de matemáticas, algunos alumnos pueden usar una calculadora y otros no. De repente, la nota en matemáticas ya no depende solo de "qué tan inteligente es el cerebro", sino de "qué herramientas tiene".
• El resultado: La "inteligencia general" (el factor G) comenzó a debilitarse. Ya no explicaba el 90% de las cosas, sino solo el 77%. ¿Por qué? Porque los modelos empezaron a especializarse.

3. Los Erizos y las Zorros (La especialización)

El artículo usa una famosa metáfora del escritor Isaiah Berlin:

• El Erizo: Conoce una cosa grande (la inteligencia general).
• La Zorra: Conoce muchas cosas pequeñas (especializaciones).

Antes, todas las IAs eran como erizos: buenas en todo, pero de la misma manera. Ahora, están convirtiéndose en una sociedad de zorros.

• Un modelo es un experto en razonamiento complejo (como un matemático de élite).
• Otro es un experto en escribir código rápido (como un programador veloz).
• Otro es un experto en buscar información en internet.

Cuando quitamos la "inteligencia general" de la ecuación, descubrimos que estas habilidades a veces chocan. Un modelo que es increíblemente bueno razonando paso a paso puede ser un poco más lento en tareas simples de memoria. Ya no son todos iguales; son un equipo diverso.

4. La Revolución de las Herramientas (El "Ptolomeo" invertido)

El autor hace una comparación histórica genial con la astronomía:

• Ptolomeo (astrónomo antiguo) intentaba explicar el movimiento de los planetas añadiendo círculos sobre círculos (epiciclos). Cuanto más complejo era el sistema, más preciso era, pero nunca encontraba una ley simple.
• Las IAs hoy están haciendo lo mismo, pero al revés. En lugar de simplificar la inteligencia, están añadiendo capas de herramientas (código, búsqueda web, razonamiento).
• La conclusión: La "inteligencia" ya no es solo lo que hay dentro del cerebro de la máquina. La inteligencia es el cerebro + las herramientas. Es como comparar a un humano que no puede escribir (solo piensa) con un humano que tiene un ordenador y un internet. La inteligencia de la máquina ahora depende de sus herramientas externas.

🎯 El Mensaje Final

El artículo nos dice que la idea de una "Inteligencia Artificial General" (AGI) como una sola fuerza mágica que lo sabe todo está cambiando.

• Antes: Creíamos que las IAs eran como un genio solitario que lo hacía todo mejor que nadie.
• Ahora: Son como una sociedad de expertos. Algunas son genios en matemáticas, otras en código, otras en búsqueda.

La "inteligencia general" no ha desaparecido, pero ya no es la única historia. Estamos entrando en una era donde la inteligencia es diversa, especializada y depende de las herramientas que usamos. En lugar de buscar un solo "cerebro perfecto", deberíamos celebrar la variedad de inteligencias que están surgiendo.

En resumen: La IA dejó de ser un "erizo" que lo sabe todo de la misma manera, para convertirse en una "manada de zorros" donde cada uno tiene su propio talento único, ayudado por sus propias herramientas.

Resumen técnico

Resumen Técnico: El Ascenso y Caída de G en la IA General

1. Planteamiento del Problema

El artículo aborda la controversia sobre si los Grandes Modelos de Lenguaje (LLM) exhiben una "Inteligencia Artificial General" (AGI) análoga al factor g de la inteligencia humana (generalidad cognitiva).

• Contexto: En psicometría, el factor g se define como una variable latente que explica la "manifiesta positiva" (correlaciones positivas entre diversas pruebas cognitivas). La comunidad de IA ha adoptado implícitamente este concepto, asumiendo que el rendimiento correlacionado en baterías de benchmarks (MMLU, GSM8K, etc.) indica una inteligencia general.
• Hipótesis Central: El autor cuestiona si esta correlación positiva en los LLMs es una propiedad mecánica de una inteligencia unificada o un artefacto estadístico derivado de la evolución temporal de los modelos (todos mejoran con el tiempo) y la saturación de benchmarks.
• Objetivo: Analizar la estructura factorial de los LLMs a lo largo del tiempo (2019-2025) para determinar si el factor G (análogo a g) es estable, si domina la varianza, y si su estructura subyacente cambia con la aparición de arquitecturas especializadas (razonamiento, herramientas).

2. Metodología

El estudio aplica técnicas psicométricas avanzadas a un conjunto de datos de modelos de lenguaje, tratando los modelos como "sujetos" y los benchmarks como "pruebas".

• Datos:
  • Muestra: $N = 39$ modelos (OpenAI, Anthropic, Google, Meta, DeepSeek, Mistral) lanzados entre febrero de 2019 y diciembre de 2025.
  • Benchmarks: $K = 14$ pruebas, incluyendo MMLU, GSM8K, MATH, HumanEval, GPQA Diamond, entre otros.
  • Estructura: Una matriz de puntuaciones $X$ con cobertura del 42%. Se analizan subconjuntos de "baterías centrales" (4 y 5 benchmarks) con datos completos.
• Análisis Estadístico:
  • Análisis de Componentes Principales (PCA): Se aplica a la matriz de puntuaciones estandarizadas para extraer el primer componente principal (PC1), definido como el factor G.
  • Métricas Clave:
    • $\rho_1$: Proporción de varianza explicada por PC1.
    • $\delta$: Ratio de dominancia ($\lambda_1 / \lambda_2$).
    • $d_{eff}$: Dimensionalidad efectiva (participación ratio).
  • Descomposición Temporal: Se divide la línea de tiempo en cuatro "épocas algorítmicas" (Escalado, Modelos Densos, Competencia MoE, Razonamiento/Inferencia) para analizar la estabilidad del factor.
  • Análisis de Correlaciones Parciales: Se proyecta PC1 para examinar la estructura residual y detectar factores de grupo (especializaciones) ocultos.
  • Des-trending: Se elimina la tendencia temporal lineal (mejora general por fecha de lanzamiento) para aislar la estructura intrínseca de la inteligencia.
  • Validación: Se utiliza el análisis de paralelismo de Horn (10,000 permutaciones) para validar la retención de factores en muestras pequeñas.

3. Contribuciones Clave

1. Validación de la Manifiesta Positiva: Confirma que los LLMs exhiben una manifiesta positiva robusta (todas las correlaciones entre benchmarks son positivas), con un factor G dominante que explica hasta el 90-92% de la varianza en ciertas épocas.
2. La "Caída" de G: Demuestra que la fuerza del factor G no es estática. Disminuye significativamente (de ~92% a ~77% de varianza explicada) a medida que los modelos evolucionan desde el simple escalado hacia arquitecturas especializadas (razonamiento en tiempo de inferencia, uso de herramientas).
3. Rotación del Factor G: Identifica una rotación estructural en el vector propio (eigenvector) de G. En la era de escalado, G cargaba uniformemente en todas las tareas. En la era de herramientas, G rota para cargar más en benchmarks de conocimiento/razonamiento y menos en ejecución procedimental, ya que las herramientas externalizan esta última.
4. Estructura de "Zorro vs. Erizo": Revela que bajo la superficie de la inteligencia general (G), existen factores de grupo antagónicos (razonamiento profundo vs. ejecución fluída) que se vuelven más visibles a medida que G se debilita, sugiriendo una "sociedad de mentes" más que un único motor cognitivo.
5. Crítica a la Psicometría de la IA: Argumenta que la búsqueda de una AGI unificada es una "Sucesión Ptolemaica" (añadir epicyclos/benchmarks nuevos en lugar de encontrar leyes unificadoras) y que la inteligencia real es un sistema expandido de modelo-herramienta.

4. Resultados Principales

• Dominancia Inicial de G: En la "Batería Central de 5 Benchmarks" (MMLU, GSM8K, MATH, HumanEval, GPQA), PC1 explica el 90% de la varianza total. Esto confirma una fuerte inteligencia general en el sentido psicométrico.
• Declive Temporal:
  • Época II (2023-2024.03): G alcanza su pico con $\rho_1 = 92\%$. Todos los modelos mejoran en sincronía.
  • Época III/IV (2024.09+): Con la llegada de modelos de razonamiento (o1, DeepSeek R1), $\rho_1$ cae al 77% y la dimensionalidad efectiva ($d_{eff}$) aumenta de 1.1 a 1.9.
  • Interpretación: La caída no significa que los modelos sean menos inteligentes, sino que la varianza se distribuye en más dimensiones (especialización).
• Estructura Residual (Correlaciones Parciales):
  • Al eliminar G, las correlaciones residuales muestran una estructura de grupos:
    • Grupo Razonamiento: MATH y GPQA (correlación positiva residual).
    • Grupo Ejecución: GSM8K y HumanEval (correlación positiva residual).
    • Aislamiento: MMLU tiende a correlacionarse negativamente con los grupos de ejecución/razonamiento una vez eliminado G.
  • Esto indica que la "generalidad" oculta una compensación (trade-off) entre capacidades especializadas.
• Invarianza vs. Rotación:
  • En una batería de 4 benchmarks, el vector de G es casi invariante (desplazamiento angular < 0.6°).
  • En una batería de 5 benchmarks (incluyendo GPQA), la entrada de modelos como DeepSeek V3 causa una rotación de 6.4°, indicando un cambio fundamental en la naturaleza de lo que se mide como "inteligencia general".
• Análisis Des-trended: Incluso eliminando la tendencia temporal (mejora natural por fecha), la correlación positiva persiste ($\rho_1 \approx 77\%$), confirmando que la estructura no es puramente un artefacto temporal, aunque la fuerza de G es menor que la sugerida por los datos crudos.

5. Significado e Implicaciones

• Reconceptualización de la AGI: El artículo sugiere que la AGI no es un punto final de convergencia hacia un único factor G, sino un proceso de expansión dimensional. Los modelos modernos no son "más generales" en el sentido de un motor único, sino que son sistemas complejos que integran múltiples inteligencias especializadas (zorro) bajo una capa de generalidad (erizo).
• El Rol de las Herramientas: La inteligencia de los LLMs modernos es inseparable de sus herramientas (calculadoras, buscadores, intérpretes de código). Evaluarlos sin herramientas es como evaluar a un humano sin permitirle escribir. La "inteligencia" es una propiedad del sistema expandido (modelo + herramienta), no solo del sustrato neuronal.
• Crítica a los Benchmarks: El sistema actual de evaluación es "Ptolemaico": ante cada nueva capacidad, se añade un nuevo benchmark (un nuevo epicyclo) en lugar de buscar una ley unificadora. Esto complica la métrica de la inteligencia en lugar de simplificarla.
• Futuro de la Investigación: Se propone abandonar la obsesión por un único factor G y adoptar un enfoque multidimensional que reconozca la diversidad de inteligencias (animales, humanas, artificiales) y sus subespacios de competencia específicos.

Conclusión:
El factor G en los LLMs ha existido y ha sido dominante durante la era del escalado puro, pero está "cayendo" en fuerza relativa a medida que la arquitectura de los modelos se diversifica y se especializa. La inteligencia artificial general, tal como se mide actualmente, es una ilusión estadística que oculta una realidad más rica y compleja: una sociedad de mentes especializadas que cooperan, donde la generalidad es un compresor de alta dimensión y no una esencia única.