One of the Above, None of the Above: Why the Same Model Should Not Predict Both

Resumen Técnico: "Uno de los de arriba, ninguno de los de arriba: Por qué el mismo modelo no debería predecir ambos"

Planteamiento del problema
La detección de la novedad se modela frecuentemente como un problema de partición-extensión binaria: determinar si una nueva observación pertenece a una categoría existente ("uno de los de arriba") o si requiere una nueva categoría ("ninguno de los de arriba"). Los enfoques estándar, particularmente los modelos de muestreo de especies bayesianos como el Proceso de Restaurante Chino (CRP) y el proceso de Pitman–Yor (PY), tratan la "apertura" de una nueva categoría como el residuo probabilístico de "absorber" un elemento en una categoría ya existente.

Este artículo sostiene que esta formulación oscurece una asimetría epistémica fundamental. La absorción es un juicio sobre si un elemento puede resolverse dentro de una partición ya generada, mientras que la apertura es un juicio sobre si el contexto activo autoriza una nueva identidad de respuesta. Tratar estos como dos lados de un único proceso generativo conlleva el riesgo de colapsar dependencias distintas en una sola probabilidad. Además, los modelos estándar suelen fallar al no tener en cuenta el "contexto" específico (unidad de flujo local, relaciones de equivalencia y tamaño del inventario del protocolo de la tarea) que hace que los juicios de novedad sean significativos.

Metodología
El estudio operacionaliza la predicción de la novedad utilizando un marco inspirado en la lógica de la dependencia donde las filas de predicción se definen por un "átomo de dependencia" $a_t = (C_u, H_{<t}, r_t, z_t)$.

• Contexto ($C_u$): Incluye la unidad de flujo local ($u$), la relación de equivalencia ($R_u$) que define la identidad de la respuesta y el tamaño del inventario del protocolo de la tarea ($\kappa_{task}$).
• Historia ($H_{<t}$): El prefijo de los episodios anteriores dentro de la misma unidad local.
• Objetivo ($z_t$): Una etiqueta binaria donde $z_t=1$ indica "apertura" (una nueva identidad) y $z_t=0$ indica "absorción" (reutilización de una identidad existente).

El artículo compara dos predictores primarios en datos de validación externa a través de cinco conjuntos de datos naturalistas (GUM coreferencia, GUM recurrencia léxica, SWDA recurrencia léxica, SWDA actos de diálogo y Kinetics-GEBD) y un reanálisis de los experimentos de aprendizaje de categorías de Navarro y Kemp (2017):

1. El Nulo Combinatorio ($x_{comb}$): Una puntuación ciega al tamaño del bloque derivada de números de Stirling logarítmicos ($\log S(N_t, K_t-1) - \log S(N_t, K_t) - \log K_t$). Predice la novedad basándose únicamente en el cambio en el número de particiones admisibles, ignorando la distribución de ocupación de las clases existentes (sin efecto de "el rico se hace más rico").
2. El Proceso de Pitman–Yor (PY): Un modelo estándar de muestreo de especies que incorpora la dinámica de "el rico se hace más rico", donde la probabilidad de unirse a un bloque existente es proporcional a su ocupación actual.

El análisis descompone el rendimiento en regímenes de absorción ($z_t=0$) y apertura ($z_t=1$) y evalúa si el "ganador" depende del tamaño del inventario del protocolo de la tarea ($\kappa_{task}$).

Contribuciones clave y resultados

1. El contexto es necesario: Reemplazar las historias globales por historias locales degrada significamente el rendimiento tanto de los modelos $x_{comb}$ como de los PY. Esto confirma que la predicción de la novedad no se define solo por una partición, sino por el contexto local en el que se extiende dicha partición.
2. El patrón de régimen cruzado: El artículo demuestra que ningún modelo único supera universalmente al otro en ambos procesos. En cambio, el predictor óptimo se invierte según el tamaño del inventario del protocolo de la tarea:
   • Inventarios abiertos ($\kappa_{task} = \infty$): En conjuntos de datos con vocabularios abiertos (ej. GUM léxico/coreferencia), el nulo combinatorio ($x_{comb}$) supera al PY en la absorción, mientras que el Pitman–Yor supera al $x_{comb}$ en la apertura.
   • Inventarios cerrados ($\kappa_{task} < \infty$): En conjuntos de datos con inventarios fijos y finitos, el patrón se invierte en la absorción: el Pitman–Yor supera al $x_{comb}$. En la apertura, los resultados son mixtos: el $x_{comb}$ supera al PY en el conjunto de datos Kinetics-GEBD (el caso de inventario finito más pequeño), pero el resultado para los actos de diálogo de SWDA (un inventario finito más grande de 42 etiquetas) permanece sin resolver, ya que el intervalo de confianza de bootstrap incluye el cero. Esto sugiere que los actos de diálogo de SWDA representan un caso límite en lugar de una reversión clara del patrón.
3. Matiz de la forma funcional: La puntuación combinatoria exacta basada en Stirling no es simplemente intercambiable con sustitutos de densidad más simples (como $\log(N/K)$). En flujos de conteo bajo (específicamente Kinetics), la corrección exacta de conteo finito proporciona una ventaja real y medible sobre las aproximaciones de densidad, lo que sugiere que la forma exacta captura propiedades estructurales del flujo más allá de la simple densidad.
4. Reanálisis de experimentos controlados: En un reanálisis del Experimento 4 de Navarro y Kemp (2017), un modelo estructural que incorpora una "puerta de tarea" (que indica si se autoriza el "ninguno de los de arriba") y la densidad de la partición, pero sin términos de "el rico se hace más rico", superó al benchmark HG–CRP. Además, una descomposición mostró que el HG–CRP funcionó mejor en "uno de los de arriba" (absorción), mientras que el modelo de puerta funcionó mejor en "ninguno de los de arriba" (apertura), reflejando el patrón cruzado encontrado en los corpora naturalistas.

Significado y afirmaciones
El artículo argumenta contra la visión de que la apertura de categorías es simplemente el residuo de un único proceso de absorción. En su lugar, postula que la absorción y la apertura son regímenes distintos gobernados por diferentes estructuras de dependencia:

• La absorción en sistemas abiertos se predice mejor por la combinatoria de la extensión de la partición (ignorando ocupaciones específicas).
• La apertura en sistemas abiertos requiere información de "el rico se hace más rico" (ocupación/persistencia).
• En sistemas cerrados, la dinámica se invierte en la absorción, donde la información de ocupación ayuda a la absorción. En la apertura, la ventaja del modelo combinatorio es más clara en inventarios pequeños como Kinetics, mientras que los inventarios finitos más grandes como SWDA muestran un patrón sin resolver, lo que sugiere un caso límite en lugar de una reversión definitiva.

El autor concluye que los modelos futuros de novedad deben separar explícitamente estos regímenes. La puntuación de partición combinatoria debe tratarse como un "modelo nulo de contexto fijo". Sus fallos no son meros errores, sino que son informativos sobre la estructura del flujo local, indicando cuándo la persistencia de identidad específica (efectos de el rico se hace más rico) se vuelve necesaria. Los resultados sugieren que la distinción entre "uno de los de arriba" y "ninguno de los de arriba" no debe tratarse como una única probabilidad con un solo proceso generativo detrás, sino como dos operaciones distintas que pueden reclutar diferentes procesos de representación y control.