Resumen Técnico: Evidencia Finita, Horizontes Infinitos: El Artificial Age Score como un Estudio de Caso en la Medición Longitudinal de la IA

1. Planteamiento del Problema

El artículo aborda una brecha epistemológica fundamental en la evaluación longitudinal de los sistemas de Inteligencia Artificial (IA): la confusión entre la evidencia observada finita y las afirmaciones matemáticas de horizonte infinito.

Si bien la puntuación longitudinal (por ejemplo, el seguimiento del rendimiento a través de sesiones, actualizaciones o despliegues) es científicamente útil, existe una tendencia prevalente a tratar un registro finito de puntuaciones como el comienzo de una secuencia infinita. Los investigadores suelen inferir propiedades del futuro no observado —como la persistencia del sistema, la convergencia de estado o la operación indefinida— basándose únicamente en la acotación o las tendencias de un prefijo de puntuación finito.

La dificultad central identificada es la "brecha del horizonte", que separa tres objetos distintos:

1. El Horizonte Evidencial: El registro finito de observaciones registradas ($E_N$).
2. El Horizonte Matemático: La secuencia infinita o el proceso estocástico definido por un modelo de continuación.
3. El Horizonte Objetivo: El sistema físico o computacional en sí mismo, su linaje y su disponibilidad futura real.

El artículo sostiene que un prefijo de puntuación finito no determina deductivamente la convergencia, la exposición acumulada o la existencia continua del sistema. Sin supuestos de puente explícitos, las conclusiones de horizonte infinito son inferencias basadas en modelos condicionales, no consecuencias de los datos finitos por sí solos.

2. Metodología

El artículo emplea una metodología híbrida que combina pruebas matemáticas formales con una prueba de estrés empírica utilizando el "Artificial Age Score" (AAS) como un caso de estudio concreto.

2.1 Marco Formal

El autor establece un marco teórico utilizando el AAS, una puntuación compuesta ajustada por redundancia. La metodología involucra:

• Análisis de Fibra de Observación: Definir el conjunto de todos los modelos de sistema admisibles ($M$) que producen un prefijo específico observado. El artículo demuestra que, para cualquier prefijo finito, la "fibra" contiene modelos con comportamientos asintóticos incompatibles (por ejemplo, convergiendo a cero, divergiendo u oscilando).
• Construcciones de Prefijos Coincidentes: Construir contraejemplos explícitos donde diferentes colas infinitas (que satisfacen diferentes propiedades de límite) comparten exactamente el mismo prefijo finito. Esto demuestra que ninguna estadística computada únicamente desde un prefijo finito sin restricciones puede determinar la clase de la cola no observada.
• Libro de Registro de Tres Horizontes: Desarrollar una estructura de reporte que separe explícitamente lo observado, lo asumido (condiciones de puente), lo derivado y lo que no se establece.

2.2 Prueba de Estrés Empírica

Para fundamentar estas afirmaciones teóricas, el artículo realiza un análisis secundario del archivo público RealTimeQA (74 lotes de lanzamientos desde junio de 2022 hasta diciembre de 2023).

• Datos: Comparaciones pareadas de dos configuraciones: "GPT-3 cerrado" y "GPT-3 con Google Custom Search (GCS) y fallback de recuperación".
• Mapeo de Métricas: Se aplicó el AAS a la precisión de opción múltiple por lote y a las puntuaciones F1 de generación, con pesos iguales y sin redundancia estimada ($R=0$).
• Análisis Realizados:
  1. Contraste Pareado: Descomposición de la diferencia media del AAS entre configuraciones en penalizaciones componentes.
  2. Sensibilidad de Redundancia Exploratoria: Aplicación de un proxy para el co-déficit a nivel de ítem ($O_{def}$) para probar cómo varían las asunciones de redundancia ($R = \lambda O_{def}$) el contraste de la puntuación.
  3. Auditoría de Desplazamiento de Agregación: Cuantificación de cómo los movimientos opuestos de los componentes se compensan al sumarse en una puntuación escalar (usando una métrica de "desplazamiento de agregación de índice de lanzamiento", $K_N$).
  4. Pronóstico de Origen Rodante: Comparación del Error Absoluto Medio (MAE) de cuatro reglas de continuación finita (persistencia, media móvil, AR(1) escalar y AR(1) por componente) para demostrar que ninguna regla única es universalmente superior y todas retienen un error no nulo.
  5. Exposición Ponderada por Duración: Cálculo de la exposición acumulada utilizando intervalos de tiempo físico en lugar de solo conteos de ciclos.

3. Contribuciones Clave

3.1 Contribuciones Teóricas

• El Marco de la Brecha del Horizonte: Una distinción formal entre los horizontes evidencial, matemático y objetivo, aclarando que pasar de un registro finito a una afirmación infinita requiere supuestos de puente explícitos (por ejemplo, reglas de linaje, modelos de continuación, cronogramas de duración no-Zeno).
• Teoremas de Subdeterminación de Prefijos Coincidentes: Pruebas que muestran que, para cualquier prefijo de AAS finito, existen continuaciones infinitas algebraicamente admisibles que convergen a cero, divergen, oscilan o terminan, lo que hace que el prefijo sea insuficiente para determinar el destino asintótico del sistema.
• Convergencia Escalar vs. Identificación de Estado: Una proposición que demuestra que la convergencia de la puntuación escalar no implica necesariamente la convergencia de estado si el mapa de medición no es inyectivo (es decir, diferentes estados del sistema pueden producir la misma puntuación).

3.2 Contribuciones Empíricas

• Descomposición del AAS: En la auditoría de RealTimeQA, la configuración GCS mostró un AAS medio inferior (mejor rendimiento) que la configuración cerrada (Diferencia media: $-0.738$). Esta diferencia se descompuso en una contribución de $-0.261$ de la precisión de opción múltiple y una de $-0.477$ de la F1 de generación.
• Desplazamiento de Agregación: El estudio cuantificó que los cambios opuestos compensaron aproximadamente el 14.5% del movimiento bruto para la configuración cerrada y el 11.8% para la configuración GCS. Esto resalta cómo la agregación escalar puede enmascarar una volatilidad interna significativa.
• Limitaciones de Pronóstico: Todos los pronósticos de origen rodante retuvieron un error no nulo. La "mejor" regla de pronóstico dependió de la configuración (el AR(1) escalar fue mejor para el modelo cerrado; el Media-4 fue mejor para GCS), indicando que los prefijos finitos no seleccionan una ley de continuación universal.
• Sensibilidad a la Redundancia: Aunque la dirección del contraste de rendimiento se mantuvo negativa a través de cinco niveles de redundancia impuesta ($\lambda \in [0, 1]$), la magnitud de la diferencia se atenuó significamente (de $-0.738$a$-0.259$), demostrando que las asunciones de redundancia son parámetros de medición críticos, no hechos observados.

4. Resultados

• Los Prefijos Finitos son Indeterminados: Un registro finito de 20 puntuaciones de AAS cero (de un estudio bilingüe publicado) es matemáticamente compatible con futuros infinitos donde el sistema continúa perfectamente, falla inmediatamente, oscila o termina. El prefijo de la puntuación no establece ninguno de estos.
• No Existe una Regla de Pronóstico Universal: En la prueba de estrés de RealTimeQA, ninguna regla de pronóstico de origen rodante minimizó el error a través de todas las configuraciones y horizontes. Esto respalda la afirmación de que los prefijos finitos restringen pero no seleccionan de forma única un modelo futuro.
• Dependencia del Mapa de Medición: La magnitud de las diferencias de rendimiento es altamente sensible a la elección de los coeficientes de redundancia ($R$) y los pesos de los componentes. El artículo muestra que tratar el solapamiento como redundancia es una asunción, no un hecho derivado.
• Tiempo Físico vs. Conteo de Ciclos: El artículo demuestra que contar ciclos (eventos) es distinto de medir el tiempo físico. Sin un cronograma de duración no-Zeno (donde el tiempo total $\to \infty$), un número infinito de ciclos no implica operación sobre un horizonte físico infinito.

5. Significado y Afirmaciones

El artículo reclama modestamente proporcionar un marco de auditoría en lugar de una nueva teoría predictiva o una validación del propio AAS.

• Clarificación de la Inducción: La principal contribución es hacer explícita la "brecha del horizonte". Argumenta que las conclusiones de horizonte infinito son inferencias basadas en modelos condicionales, no consecuencias de las puntuaciones acotadas o de las observaciones finitas por sí solas.
• Reencuadre de las Afirmaciones Longitudinales: El papel propone un "libro de registro de afirmaciones" (Tabla 10) para estudios de IA longitudinales. Este libro requiere que los investigadores registren explícitamente:
  • Observado: El registro finito y el estado final.
  • Asumido: Reglas de linaje, modelos de continuación y cronogramas de tiempo físico.
  • Derivado: Consecuencias matemáticas del registro más las asunciones.
  • No Establecido: Afirmaciones sobre mecanismos causales, persistencia indefinida o supervivencia del sistema que requieren evidencia adicional.
• Rol del AAS: El AAS se utiliza como un "mapa de medición concreto" para ilustrar problemas generales de proyección. El artículo no pretende derivar nuevas propiedades de ciclo único del AAS ni validar el constructo como universal. En cambio, utiliza el AAS para mostrar cómo una puntuación estática puede malinterpretarse como un modelo de supervivencia dinámico.
• Rol Científico: El artículo posiciona sus resultados de imposibilidad elemental (construcciones de prefijos coincidentes) como herramientas para localizar premisas faltantes. Argumenta que el valor científico reside no en probar que la predicción es imposible, sino en asegurar que las asunciones de puente requeridas para cualquier proyección sean visibles y auditables.

En conclusión, el artículo afirma que las puntuaciones de IA longitudinales son útiles para el monitoreo y la comparación dentro de un protocolo declarado, pero no pueden, por sí mismas, establecer que un sistema persistirá, convergerá o permanecerá comparable indefinidamente. Tal afirmación requiere un modelo de continuación declarado explícitamente y supuestos de puente respecto al linaje y al tiempo físico.