Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control

Resumen Técnico: Evaluación Comparativa de las Reclamaciones de Advertencia de Colapso Recursivo bajo un Control de Falsos Positivos Emparejados

Planteamiento del Problema
Los sistemas recursivos —donde los estados presentes moldean los estados futuros y las actualizaciones locales refuerzan la continuación— pueden entrar en regímenes de tipo "colapso" caracterizados por una amplificación de retroalimentación, una persistencia recursiva constante y una reducción de la diversidad antes de que ocurra el fallo evidente. Aunque existen señales de alerta temprana (EWS, por sus siglas en inglés) para transiciones críticas (p. ej., crecimiento de la varianza, cambios en la autocorrelación) establecidas en la literatura de sistemas complejos, estas suelen sufrir vulnerabilidades de falsos positivos bajo forzamientos no estacionarios. Este artículo aborda la falta de un banco de pruebas reproducible y falsable para probar si fallos recursivos específicos siguen un patrón de telemetría direccional (ganancia creciente, persistencia creciente, diversidad decreciente) bajo un contrato estricto de falsos positivos (FP) emparejados. El desafío central es distinguir las firmas de pre-colapso reales del ruido o de artefactos específicos del dominio sin permitir que los detectores "ganen" simplemente gastando las falsas alarmas de manera distinta.

Metodología
El artículo introduce Loopzero, un marco de evaluación de límites de reclamación que separa la especificación formal de la evaluación empírica.

1. Obstrucción Formal (Lean): Los autores formalizan una "obstrucción de no-progreso" para sistemas de retroalimentación recursiva en el demostrador de teoremas Lean. Esto define una condición estructural donde un sistema realiza pasos locales válidos pero pierde progreso significativo debido a vínculos monotónicos (cantidades que pueden mantenerse o empeorar, pero no recuperarse). El artefacto de Lean verifica la obstrucción abstracta y una especialización esquemática de la telemetría, pero explícitamente no verifica que los datos del mundo real satisfagan el mapa de medición.
2. Puente de Telemetría Condicional: El marco postula un puente condicional: si un sistema exhibe la obstrucción formal, debería manifestar tres testigos observables antes del colapso:
   • Ganancia Creciente ($G$): Amplificación de perturbaciones.
   • Persistencia Recursiva Creciente ($p$): Dependencia creciente de estados generados internamente (operacionalizada como una puerta de no-relajación).
   • Diversidad Decreciente ($\delta$): Contracción del espacio de estados efectivo.
3. Contrato de Falso Positivo Emparejado: Para asegurar una comparación justa, todos los detectores (incluyendo el detector de cuantiles pre-registrado de Loopzero y los comparadores estándar) se evalúan bajo una banda de falsos positivos igual y bloqueada: FP $\in$ [0.03, 0.07]. Una configuración solo se considera "aceptada" si su tasa de falsos positivos cae dentro de este intervalo. Esto evita el ajuste de los detectores a umbrales arbitrarios que podrían inflar el rendimiento.
4. Benchmarks: La evaluación se lleva a cabo en dos benchmarks de artefactos públicos congelados:
   • Mercados Públicos: Datos segmentados de los eventos de Volmageddon de 2018 y de los interruptores de circuito de todo el mercado de COVID de 2020 (38 unidades de control, 16 unidades de evento).
   • Sistemas de Recomendación: Un replay determinista offline de trayectorias de usuarios de MovieLens-25M utilizando un motor de filtrado colaborativo (4,755 unidades de control, 35,584 unidades de evento con horizonte $h=50$).
   • Chequeo Secundario: Se utilizan trayectorias digitalizadas de Shumailov et al. (2024) sobre el colapso del bucle de entrenamiento de LLM para consistencia direccional únicamente, no para la evaluación de FP emparejado.

Resultos Clave

• No Aceptación de Detectores: Bajo el contrato de FP bloqueado, ninguna configuración de comparador probada (incluyendo familias estándar como AC1, Perfil de Matriz, Entropía de Permutación, CUSUM y Page-Hinkley) ni ningún punto de operación del detector de cuantiles pre-registrado de Loopzero logró un punto de operación aceptado en ninguno de los benchmarks canónicos.
  • Mercados: El comparador no trivial más cercano (AC1) tuvo un FP de 0.132 (por encima de la banda); las familias lentas fueron o bien trivialmente silenciosas (FP=0) o muy por encima de la banda.
  • Recomendador: El comparador más cercano (Perfil de Matriz) tuvo un FP de 0.014 (por debajo de la banda); ninguna configuración alcanzó la banda de [0.03, 0.07] con recuperación de eventos no nula.
• Alineación de Testigos Direccionales: A pesar de la falta de aceptación de detectores, el criterio del puente direccional se mantuvo en los benchmarks canónicos. En la ventana de pre-colapso, las unidades de evento mostraron mayor $G$, mayor $p$ y menor $\delta$ que los controles.
  • En el benchmark del recomendador ($h=50$), los tres testigos se alinearon en la dirección predicha con intervalos de confianza claros del nulo (Cohen's $d \approx +0.10$ para $G$, $+0.08$ para $p$, $-0.17$ para $\delta$).
  • Esta alineación fue sensible al horizonte: en $h=40$, $G$ cambió de dirección; en $h=60$, $p$ y $\delta$ colapsaron hacia el nulo.
• Análisis de Frontera de Envolvente: Al extender la rejilla de sensibilidad para el detector de Loopzero (variando los umbrales de cuantiles $q$), los autores encontraron que los comparadores de EWS estándar operan en un régimen de falsos positivos estructuralmente más alto que el detector basado en percentiles de Loopzero a través de rejillas extendidas. Sin embargo, esta diferencia estructural no se tradujo en un punto de operación aceptado para ningún detector bajo el estricto contrato.

Reclamaciones y Significado
El artículo hace una reclamación científica deliberadamente mínima y modesta: Una obstrucción formalmente especificada para el colapso recursivo admite una firma de pre-colapso medible y condicional, pero bajo un contrato de equidad de falsos positivos estrictamente emparejado, ningún detector estándar probado (ni el detector Loopzero propuesto) logra actualmente un punto de operación aceptado en los benchmarks canónicos.

La significación reside en la conjunción de estos hallazgos:

1. Falsabilidad: El marco es explícitamente falsable. La reclamación se debilitaría si los eventos de colapso ocurrieran sin el patrón $G/p/\delta$, o si los comparadores recuperaran puntos de operación aceptados bajo el mismo contrato.
2. La No-Aceptación como un Resultado: El artículo trata la "no-aceptación" como un resultado científico de primera clase. Demuestra que la dificultad de detectar el colapso recursivo no es simplemente una cuestión de ajustar umbrales, sino un desafío estructural donde los detectores actuales no logran encontrar un punto de operación válido dentro de un presupuesto de alerta realista.
3. Programa Empírico Resuelto por Dominio: El trabajo apoya un programa empírico explícitamente delimitado en lugar de un detector de un solo dominio. La firma direccional parece consistente en dominios dispares (mercados, recomendadores, LLMs), lo que sugiere una propiedad estructural universal del fallo recursivo, incluso si la detección práctica sigue siendo elusiva.

Los autores declaran explícitamente que el artefacto de Lean no verifica la telemetría real, y que las reclamaciones empíricas dependen del protocolo de puente, no de la prueba formal. El artículo concluye que el siguiente paso científico es el testeo de estrés mediante dominios adicionales y clases de comparadores más amplias, en lugar de reclamar la construcción de un detector operativo desplegado.