Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

Resumen Técnico: Estadísticamente Indistinguibles, Operacionalmente Distintos

Planteamiento del Problema
El artículo aborda una limitación fundamental en los modelos fundacionales tabulares: su incapacidad para razonar sobre datos producidos por sistemas empresariales en ejecución sin acceso a las reglas operativas que gobiernan dichos datos. Si bien estos modelos sobresalen en tablas únicas y autocontenidas, las tablas de producción son proyecciones de sistemas complejos donde el código de la aplicación escribe filas, las restricciones declarativas restringen los valores y los disparadores (triggers) procedimentales fuerzan las transiciones. En consecuencia, los datos de entrenamiento disponibles para los modelos suelen carecer de la lógica operativa (reglas, disparadores, código) que generó los valores. Los autores postulan que, sin acceso a este "fundamento operativo" (operational grounding), los modelos enfrentan una barrera formal donde los estados de la base de datos legales e ilegales son estadísticamente indistinguibles basándose únicamente en las distribuciones de valores.

Metodología: El Test de Turing Operativo (OTT)
Para hacer que esta barrera sea falsable, los autores construyen el Test de Turing Operativo (OTT), una tarea de clasificación binaria que distingue entre estados de la base de datos "legales" e "infractores de reglas".

• Construcción: La prueba utiliza un esquema de orden-a-cobro de tres tablas (clientes, pedidos, artículos de pedido). Genera pares de estados donde el estado "ilegal" viola una regla específica pero preserva los marginales de valor de columna unidireccionales y bidireccionales dentro de una distancia de variación total (TV) de $\tau < 0.02$.
• Tipos de Corrupción: Se prueban cuatro familias de reglas operativas:
  1. Consistencia de Valor Relacional: Romper restricciones de clave foránea (por ejemplo, reemplazar IDs con valores no vistos).
  2. Consistencia de Cardinalidad: Violar límites agregados (por ejemplo, recuentos de artículos por pedido) preservando los valores de las filas individuales.
  3. Lógica de Transformación de Valores: Violar fórmulas procedimentales (por ejemplo, $total = \sum artículos\_de\_línea \times (1 + impuesto)$) añadiendo desfases que se cancelan entre sí a través de la columna, dejando el histograma sin cambios.
  4. Transiciones de Estado de Valor: Violar reglas de transición de estado (por ejemplo, pendiente $\to$ enviado) mientras se preserva la distribución marginal de los valores de estado.
• Límite Teórico: Los autores invocan el lema de Le Cam para establecer un límite inferior teórico para el error de Bayes de cualquier clasificador de "solo valores" (restringido a los marginales de valor de columna). Si la distancia TV entre las distribuciones legales e ilegales es $\le \tau$, el error está acotado por $\frac{1}{2} - \frac{\tau}{2}$. Con $\tau < 0.02$, el error mínimo es $\ge 0.49$, lo que significa que la precisión no puede exceder $\approx 0.50$ (azar).

Configuración Experimental
El estudio evalúa los modelos a través de una "escalera de acceso" para determinar qué información se requiere para cruzar la barrera:

1. Líneas Base de Solo Valores: Modelos alimentados únicamente con un resumen de 35 dimensiones de estadísticas de columnas (media, desviación estándar, cuartiles, etc.). Las arquitecturas incluyen XGBoost, TabICL y TabPFN.
2. Acceso a Nivel de Fila: Modelos recibidos con datos de filas crudos sin contexto de reglas.
3. Acceso Relacional: Modelos recibidos con características que incluyen uniones (joins), cobertura de claves foráneas y recuentos de grupo.
4. Fundamento Operativo: Modelos aumentados con las salidas escalares de siete auditorías derivadas de reglas ejecutables (por ejemplo, la recomputación de totales desde los artículos de línea para verificar la consistencia).
5. LLMs de Frontera: Modelos de lenguaje de gran escala (GPT-5.5, Kimi-K2.6) provistos con el esquema completo, el código fuente de los disparadores, las tablas de reglas y los archivos de estado en el prompt, probados con y sin capacidades de ejecución SQL.

Resultos Clave

• Fallo de Solo Valores: Todas las líneas base de solo valores (XGBoost, TabICL, TabPFN) lograron una precisión estadísticamente equivalente al azar ($\approx 0.50$). Pruebas de dos unaletales (TOST) pre-registradas confirmaron que fallaron en distinguir los estados legales de los ilegales ($p < 0.002$). Esto se mantiene incluso con un aumento de los datos de entrenamiento (hasta 5,000 pares) y acceso a nivel de fila cruda.
• Insuficiencia Relacional: Los modelos relacionales (HistGB, RDB-PFN) mejoraron significativamente, alcanzando una precisión de 0.89. Detectaron con éxito rupturas de clave foránea, violaciones de cardinalidad y errores de transición de estado. Sin embargo, fallaron completamente en la lógica de transformación de valores (recall $\le 0.02$), ya que la conectividad por sí sola no puede reconstruir fórmulas ejecutables como los cálculos de impuestos o descuentos.
• Éxito del Fundamento Operativo: Un clasificador aumentado con las siete auditorías derivadas de reglas ejecutables logró una precisión de 1.00, cerrando la brecha por completo. Esto confirma que la barrera no es una falta de capacidad del modelo, sino una falta de acceso a la lógica ejecutable.
• Limitaciones de los LLM: Los LLMs de frontera provistos con artefactos de fuente completos (esquema, código, reglas) en el prompt fallaron la prueba. GPT-5.5 clasificó 0/50 estados legales como LEGAL, y Kimi-K2.6 clasificó solo 2/50. Incluso con un alto esfuerzo de razonamiento y ejecución de SQL, los LLMs no pudieron compilar de manera confiable los artefactos de fuente en verificaciones de legalidad deterministas, cometiendo errores frecuentes al enunciar predicados o al omitir comprobaciones de transformación.

Significancia y Reivindicaciones
El artículo sostiene que la incapacidad de los modelos fundacionales tabulares para razonar sobre datos generados por sistemas sin reglas operativas es un problema de identificabilidad, no un problema de capacidad.

• Barrera Formal: Los autores establecen que donde los marginales estadísticos se igualan con un alto grado de precisión, ningún modelo que carezca de acceso a las reglas gobernantes puede desempeñarse mejor que el azar.
• Independencia: Esta barrera es independiente de la arquitectura del modelo, la escala o la riqueza de las características. Las leyes de escala no pueden superar la ausencia de fundamento operativo.
• Implicación para el Progreso: Los autores argumentan que el progreso en los modelos fundacionales tabulares requiere tratar las reglas declarativas y procedimentales como entradas de primera clase —lógica que el modelo pueda evaluar— en lugar de meramente texto recuperado. Los benchmarks actuales (como TabArena) pasan por alto este modo de fallo; solo los benchmarks operativos que prueban contra la "escalera de acceso" revelan las limitaciones reales de los modelos actuales.

El artículo concluye que para los datos producidos por sistemas en ejecución, la verificación operativa (saber qué regla debe ser evaluada) es un prerrequisito para la confianza, y los modelos fundacionales actuales, incluso con contexto completo, carecen del mecanismo para realizar esta verificación de manera confiable sin una derivación de reglas explícita y ejecutable.