WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

Imagina que eres un detective intentando resolver un misterio, pero el crimen aún no ha ocurrido. En el mundo de la inteligencia artificial, a menudo probamos programas informáticos "inteligentes" haciéndoles preguntas sobre cosas que ya han sucedido, como "¿Quién ganó la Copa del Mundo de 2022?". El problema es que estos programas podrían simplemente haber memorizado la respuesta de internet, en lugar de haberla deducido realmente. Para probar verdaderamente si un cerebro es inteligente, necesitas pedirle que prediga el futuro —algo que aún no existe y que no se puede buscar en Google—. Esto es la frontera de la "proyección" (forecasting), donde vemos si una máquina es capaz de razonar para llegar a una respuesta que nadie conoce todavía.

Este artículo, titulado WORLDCUP ARENA, toma esa idea y la convierte en un experimento masivo en tiempo real. En lugar de pedirle a una computadora que adivine el ganador de un juego que terminó hace años, los investigadores organizaron un torneo en vivo: la Copa Mundial de la FIFA 2026. Invitaron a seis de los modelos de IA más avanzados del mundo para que actuaran como analistas deportivos. Cada día, antes de que se jugara un solo partido, estas IA tenían que observar a los equipos, el clima, los árbitros y las últimas noticias, y luego realizar siete predicciones diferentes para el juego (como quién ganará, cuántos goles se anotarán y el marcador exacto). El detalle era que los juegos aún no habían ocurrido. Las respuestas no existían en ningún lugar de internet. Esto significaba que las IA no podían acceder al resultado; tenían que pensar de verdad.

Los investigadores querían ver si estas supercomputadoras inteligentes podían vencer las probabilidades o si simplemente seguirían a la multitud. Descubrieron que, aunque las IA eran impresionantes, no eran mágicas. En promedio, acertaron aproximadamente el 63,9% de los resultados de los partidos. Eso suena bien, pero es casi exactamente lo mismo que apostar ciegamente al equipo que los corredores de apuestas (bookmakers) consideraban el favorito. De hecho, las IA fueron tan cautelosas que rara vez predijeron un empate, a pesar de que los empates ocurrieron con frecuencia, y siguieron adivinando el mismo marcador aburrido (2–1) una y otra vez.

Aquí está la parte más sorprendente: los seis modelos de IA diferentes pensaban de forma casi idéntica. Coincidían entre sí el 76% de las veces. Si les pedías que votaran por el ganador, el "voto de la mayoría" no funcionaba mejor que la mejor IA individual. Resulta que incluso los modelos de "pensamiento" más avanzados de 2026 siguen el mismo manual: son muy buenos analizando el panorama general (como predecir qué país ganará todo el torneo) pero tienen dificultades con los detalles diminutos y caóticos de un partido cercano. El artículo concluye que, en este momento, estos sistemas de IA no son marcadamente diferentes entre sí; todos son simplemente muy buenos imitando los patrones de apuestas humanos, pero no han aprendido a "ver" el futuro mejor que un experto humano con una calculadora.

El Experimento: Un Torneo de Mentes en Vivo

Los investigadores configuraron una arena "libre de filtraciones" (leakage-free). En las pruebas normales, los científicos tienen que preocuparse de que la IA pueda haber "filtrado" la respuesta de sus datos de entrenamiento. Pero aquí, debido a que los partidos estaban ocurriendo en tiempo real en 2026, las respuestas literalmente no existían cuando se hacían las preguntas. La configuración fue rigurosa:

• Los Jugadores: Seis modelos de IA de vanguardia (Claude, GPT, Gemini, Kimi, GLM y Seed).
• Las Reglas: Cada modelo tenía que usar su modo de "pensamiento extendido" (el nivel más profundo de razonidad disponible) y su propia herramienta de búsqueda web integrada para leer las últimas noticias, reportes de lesiones y cuotas.
• La Tarea: Por cada uno de los 104 partidos del torneo, la IA tenía que completar una "tarjeta de predicción" con siete mercados: quién gana, el marcador exacto, el total de goles y más.
• Los Datos: Las IA recibieron un "dossier" para cada equipo que se actualizaba diariamente, creciendo desde un pequeño resumen hasta un archivo masivo de más de 1 millón de caracteres al final del torneo.

Lo que Encontraron: La Mentalidad de "Rebaño"

Los resultados pintaron un cuadro claro y ligeramente divertido de cómo piensan estas IA.

1. Siguen a la Multitud, No a la Bola de Cristal
Las IA no fueron más astutas que los corredores de apuestas. Simplemente se pusieron del lado del equipo favorito de los bookmakers el 85,6% al 90,4% de las veces. Su precisión promedio del 63,9% fue estadísticamente la misma que apoyar mecánicamente al favorito (lo cual obtiene un 64,4%). No estaban descubriendo nuevos conocimientos; estaban haciendo eco del mercado.

2. La "Ceguera ante el Empate"
Las IA fueron pésimas prediciendo empates. En el torneo, 27 partidos terminaron en empate. Los modelos solo predijeron entre 8 y 14 empates. Tenían tanto miedo al empate que apenas lo consideraron, a pesar de que ocurre frecuentemente en el fútbol.

3. La Obsesión por el "2–1"
Al adivinar el marcador exacto, los modelos se estancaron en una rutina. Destinaron el 28,0% de todas sus predicciones de marcador a un solo resultado: 2–1. Ignoraron la vasta variedad de posibles marcadores y concentraron sus conjeturas en un resultado "prototípico".

4. Panorama General vs. Detalles Pequeños
Los modelos eran "fuertes en lo macro, débiles en lo micro".

• Macro: Hicieron un gran trabajo prediciendo al ganador del torneo y la clasificación de los grupos.
• Micro: Se desmoronaron en los juegos más cerrados. En la Ronda de 32 (donde los equipos estaban bien equilibrados), acertaron el 86,5%. Pero en las Semifinales, donde los dossiers eran más ricos en información y los equipos estaban muy igualados, su precisión colapsó al 8,3%. Cuanto más sabían sobre los equipos, peor lo hacían al elegir el ganador de un juego reñido.

5. El Efecto "Rebaño"
Los seis modelos coincidieron entre sí el 76,0% de las veces. Debido a que todos pensaban de manera muy similar, pedirles que votaran no ayudó. Un "voto de la mayoría" de los seis modelos no añadió nada a la precisión. Todos estaban atrapados en el mismo bucle.

La Tabla de Clasificación: Una Carrera Muy Ajustada

Las puntuaciones finales fueron increíblemente cercanas, mostrando que la generación actual de IA no está claramente diferenciada.

• Claude ocupó el primer lugar con 897 puntos.
• GLM quedó en último lugar con 813 puntos.
• La brecha entre el primero y el último fue de solo 84 puntos (aproximadamente un 10,3%).

Cuando los investigadores realizaron pruebas estadísticas (llamadas "intervalos bootstrap") para ver si el ganador era realmente superior, los resultados fueron inciertos. Claude fue el ganador en el 53,6% de las simulaciones repetidas, pero la diferencia entre los mejores modelos estaba a menudo dentro del margen de error. Por ejemplo, la diferencia entre el primer y el segundo lugar era tan pequeña que, si se repitiera el torneo, el orden podría invertirse.

La Conclusión

Este estudio sugiere que, si bien los modelos de IA más avanzados de hoy son herramientas poderosas para recopilar información y razonar, aún no han aprendido a liberarse de los patrones del pasado para predecir verdaderamente el futuro. Son excelentes resumiendo lo que sabemos, pero cuando se enfrentan a un evento verdaderamente incierto donde la respuesta aún no existe, tienden a ir a lo seguro, seguir a la multitud y adivinar el resultado más "promedio".

El artículo concluye que la generación actual de sistemas de vanguardia no es marcadamente diferente entre sí. Todos comparten las mismas fortalezas (pensamiento de panorama general) y las mismas debilidades (miedo a los empates, obsesión con marcadores promedio). La "magia" de la proyección de la IA, al parecer, es solo una versión muy sofisticada de seguir las cuotas de apuestas.