Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control

Resumo Técnico: Avaliação de Reivindicações de Alerta de Colapso Recursivo sob Controle de Falso-Positivo Pareado

Problema
Sistemas recursivos — onde estados presentes moldam estados futuros e atualizações locais reforçam a continuidade — podem entrar em regimes de "tipo colapso", caracterizados por amplificação autorreforçada, persistência recursiva e redução da diversidade antes que ocorra a falha evidente. Embora sinais de alerta precoce (EWS) para transições críticas (ex: crescimento de variância, mudanças de autocorrelação) sejam estabelecidos na literatura de sistemas complexos, eles frequentemente sofam de vulnerabilidades de falso-positivo sob forçante não estacionária. Este artigo aborda a falta de um benchmark reproduzível e falsificável para testar se falhas recursivas específicas seguem um padrão de telemetria direcional (ganho crescente, persistência crescente, diversidade decrescente) sob um contrato estrito de falso-positivo (FP) pareado. O desafio central é distinguir assinaturas reais de pré-colapso de ruído ou artefatos específicos do domínio sem permitir que os detectores "vençam" simplesmente gastando alarmes falsos de forma diferente.

Metodologia
O artigo introduz o Loopzero, um framework de benchmark com limites de reivindicação que separa a especificação formal da avaliação empírica.

1. Obstrução Formal (Lean): Os autores formalizam uma "obstrução de não-progresso" para sistemas de feedback recursivo no provador de teoremas Lean. Isso define uma condição estrutural onde um sistema realiza passos locais válidos, mas perde progresso significativo devido a amarras monótonas (quantidades que podem manter-se ou piorar, mas não recuperar). O artefato Lean verifica a obstrução abstrata e uma especialização esquemática de telemetria, mas explicitamente não verifica se os dados do mundo real satisfazem o mapa de medição.
2. Ponte de Telemetria Condicional: O framework postula uma ponte condicional: se um sistema exibe a obstrução formal, ele deve manifestar três testemunhas observáveis antes do colapso:
   • Ganho Crescente ($G$): Amplificação de perturbações.
   • Persistência Recursiva Crescente ($p$): Dependência crescente de estados gerados internamente (operacionalizada como um portão de não-relaxação).
   • Diversidade Decrescente ($\delta$): Contração do espaço de estados efetivo.
3. Contrato de Falso-Positivo Pareado: Para garantir uma comparação justa, todos os detectores (incluindo o detector de quantil pré-registrado do próprio Loopzero e comparadores padrão) são avaliados sob uma banda de falso-positivo igual e travada: FP $\in$ [0.03, 0.07]. Uma configuração só é "aceita" se sua taxa de falso-positivo cair dentro deste intervalo. Isso evita o ajuste de detectores para limiares arbitrários que possam inflar o desempenho.
4. Benchmarks: A avaliação é conduzida em dois benchmarks de artefatos públicos congelados:
   • Mercados Públicos: Dados segmentados dos eventos de Volmageddon de 2018 e dos disjuntores de mercado da COVID de 2020 (38 unidades de controle, 16 unidades de evento).
   • Sistemas de Recomendação: Um replay determinístico offline de trajetórias de usuários do MovieLens-25M usando um motor de filtragem colaborativa (4.755 unidades de controle, 35.584 unidades de evento no horizonte $h=50$).
   • Verificação Secundária: Trajetórias digitalizadas de Shumailov et al. (2024) sobre colapso de loop de treinamento de LLM são usadas apenas para consistência direcional, não para avaliação de FP pareado.

Resultos Principais

• Não-Aceitação de Detectores: Sob o contrato de FP travado, nenhuma configuração de comparador testada (incluindo famílias padrão como AC1, Perfil de Matriz, Entropia de Permutação, CUSUM e Page-Hinkley) nem qualquer ponto de operação do detector de quantil pré-registrado do Loopzero alcançou um ponto de operação aceito em nenhum dos benchmarks canônicos.
  • Mercados: O comparador não trivial mais próximo (AC1) teve um FP de 0.132 (acima da banda); famílias lentas foram ou trivialmente silenciosas (FP=0) ou muito acima da banda.
  • Recomendador: O comparador mais próximo (Perfil de Matriz) teve um FP de 0.014 (abaixo da banda); nenhuma configuração atingiu a banda [0.03, 0.07] com recuperação de evento não-zero.
• Alinhamento de Testemunhas Direcionais: Apesar da falta de aceitação de detectores, o critério da ponte direcional manteve-se nos benchmarks canônicos. Na janela pré-colapso, as unidades de evento mostraram maior $G$, maior $p$ e menor $\delta$ do que os controles.
  • No benchmark de recomendador ($h=50$), todas as três testemunhas alinharam-se na direção prevista com intervalos de confiança claros do nulo (Cohen's $d \approx +0.10$ para $G$, $+0.08$ para $p$, $-0.17$ para $\delta$).
  • Este alinhamento foi sensível ao horizonte: em $h=40$, $G$ inverteu a direção; em $h=60$, $p$ e $\delta$ colapsaram para o nulo.
• Análise de Fronteira de Envelope: Ao estender a grade de sensibilidade para o detector do Loopzero (variando limiares de quantil $q$), os autores descobriram que os comparadores de EWS padrão operam em um regime de falso-positivo estruturalmente mais alto do que o detector baseado em percentis do Loopzero através de grades estendidas. No entanto, essa diferença estrutural não se traduziu em um ponto de operação aceito para qualquer detector sob o contrato estrito.

Alegações e Significância
O artigo faz uma reivindicação científica deliberadamente mínima e modesta: Uma obstrução formalmente especificada para colapso recursivo admite uma assinatura de pré-colapso mensurável e condicional, mas sob um contrato de justiça de falso-positivo igual e estrito, nenhum detector padrão testado (nem o detector proposto do Loopzero) alcança atualmente um ponto de operação aceito nos benchmarks canônicos.

A significância reside na conjunção destas descobertas:

1. Falsificabilidade: O framework é explicitamente falsificável. A reivindicação seria enfraquecida se eventos de colapso ocorressem sem o padrão $G/p/\delta$, ou se os comparadores recuperassem pontos de operação aceitos sob o mesmo contrato.
2. Não-Aceitação como um Resultado: O artigo trata a "não-aceitação" como um resultado científico de primeira classe. Ele demonstra que a dificuldade de detectar o colapso recursivo não é meramente uma questão de ajuste de limiares, mas um desafio estrutural onde os detectores atuais falham em encontrar um ponto de operação válido dentro de um orçamento de alerta realista.
3. Programa Empírico Resolvido por Domínio: O trabalho apoia um programa empírico explicitamente delimitado em vez de um detector de domínio único. A assinatura direcional parece consistente através de domínios díspares (mercados, recomendadores, LLMs), sugerindo uma propriedade estrutural universal de falha recursiva, mesmo que a detecção prática permaneça elusiva.

Os autores declaram explicitamente que o artefato Lean não verifica a telemetria real, e as reivindicações empíricas dependem do protocolo de ponte, não da prova formal. O artigo conclui que o próximo passo científico é o teste de estresse via domínios adicionais e classes de comparadores mais amplas, em vez de reivindicar a construção de um detector operacional implantado.