Resumen Técnico: Cuando las Inferencias de Benchmarking No se Componen

1. El Problema: La No Composición de Vínculos Garantizados

El artículo aborda una brecha epistémica crítica en la evaluación de la IA: la suposición de que los pasos de inferencia individualmente garantizados se componen automáticamente en una cadena garantizada. En los flujos de trabajo estándar de evaluación de IA, el resultado de un benchmark (por ejemplo, una puntuación alta en una batería multidominio) se trata a menudo como evidencia para una afirmación consecuente (por ejemplo, la autorización para uso profesional). Esta cadena suele implicar múltiples pasos:

1. Generalización: Extender el rendimiento del benchmark a nuevos ítems bajo las mismas reglas.
2. Interpretación: Atribuir la puntuación a una capacidad específica (por ejemplo, "razonamiento jurídico").
3. Extrapolación: Proyectar esa capacidad a una nueva tarea o configuración de sistema (por ejemplo, una aplicación con recuperación aumentada por recuperación [RAG]).
4. Transporte: Trasladar la afirmación a una población, sitio o tiempo diferente.
5. Combinación: Integrar la salida del sistema con la revisión humana y las consecuencias de las políticas derivadas.

El problema central identificado es que los enfoques centrados en la validez, que requieren evidencia para cada afirmación, a menudo no logran dar cuenta de las interfaces entre estas afirmaciones. Incluso si un estudio de benchmark es sólido y un estudio de despliegue separado es sólido, su combinación puede no garantizar la afirmación final. El artículo sostiene que "los vínculos garantizados no hacen automáticamente una cadena garantizada".

Este fallo surge de tres fuentes primarias:

• Desajuste de Endpoints (Puntos Terminales): El objetivo de un estudio (por ejemplo, un modelo base respondiendo preguntas sobre texto suministrado) no es la fuente del siguiente (por ejemplo, una aplicación desplegada con recuperación y revisión humana).
• Dependencias Ocultas: Datos compartidos, linajes de modelos o supuestos pueden hacer que estudios aparentemente independientes sean dependientes, erosionando la fuerza acumulativa de la evidencia.
• Pérdida de Información: Las métricas agregadas (por ejemplo, una media estable) pueden borrar distinciones a nivel de ítem (por ejemplo, fallos concentrados o tipos de error específicos) que son críticas para proyecciones posteriores.

2. Metodología: La Auditoría de Projectibilidad

El artículo propone una auditoría de projectibilidad como herramienta diagnóstica dentro de un marco de validez basado en argumentos (basándose en Kane, 2013; Messick, 1995). A diferencia de los marcos que se centran únicamente en el significado del constructo o la transportabilidad causal, este enfoque apunta específicamente a las interfaces entre pasos de inferencia adyacentes.

Conceptos Clave

• Projectibilidad: Definida como si una extensión acotada de casos observados a no observados está garantizada. No es una propiedad escalar de un sistema, sino un estatus específico de la afirmación (respaldado, derrotado o no resuelto).
• Nodos Empíricos: La auditoría representa cada estudio o paso de inferencia como un nodo tipado $N = \langle \text{objeto, población, condiciones, resultado, periodo} \rangle$.
• Bordes de Proyección: Un borde $e$ conecta un nodo fuente con un nodo objetivo, definido por una afirmación, supuestos y evidencia.

El Principio de No Composición

El artículo formaliza el modo de fallo central como:
$$\text{Warr}(C_1) \land \text{Warr}(C_2) \not\Rightarrow \text{Warr}(C_2 \circ C_1)$$
Donde $C_1$ y $C_2$ son eslabones adyacentes. La composición solo está garantizada si:

1. Alineación de Endpoints: El objetivo de $C_1$ coincide con la fuente de $C_2$ en cinco campos: objeto, población, condiciones, resultado y periodo.
2. Transmisión de Garantía: Los supuestos y los modificadores de efecto son compatibles, y la dependencia/incertidumbre se propaga en lugar de reiniciarse.

El Procedimiento de Auditoría

La metodología implica un proceso de declaración de diez pasos que debe completarse antes del análisis de datos:

1. Definir Afirmaciones de Fuente-Objetivo: Declarar explícitamente los datos observados y la nueva afirmación.
2. Tipificar Endpoints: Registrar los cinco campos para la fuente y el objetivo.
3. Nombrar la Extensión: Especificar el tipo de proyección (generalización, extrapolación, transporte, etc.).
4. Listar Derrotadores (Defeaters): Identificar diferencias plausibles (por ejemplo, recuperación en vivo frente a texto suministrado) que podrían romper la cadena.
5. Asignar Evidencia y Propiedad: Determinar quién puede producir la evidencia necesaria para cada derrotador.
6. Emparejar el Muestreo con las Afirmaciones: Asegurar que las unidades de control (por ejemplo, plantillas, archivos de clientes, periodos de tiempo) coincidan con el alcance de la afirmación.
7. Definir Observación y Pérdida: Especificar exactamente qué se puntúa y qué constituye un fallo (incluyendo resultados de "línea roja").
8. Registrar Respaldo/Derrota/No Resuelto: Predefinir criterios estadísticos para cada estatus.
9. Auditar Interfaces: Verificar la alineación y la transmisión para cada eslabón adyacente.
10. Separar la Afirmación Empírica de la Decisión: Distinguir la evidencia de los valores de política y los compromisos (trade-offs).

3. Contribuciones Clave y Resultados

A. El Caso de Estudio de Investigación Jurídica

El artículo ilustra la auditoría utilizando un escenario hipotético de investigación jurídica. Un desarrollador reporta puntuaciones altas de un modelo base para preguntas jurídicas sobre texto suministrado. Una firma de abogados pretende desplegar este modelo en un flujo de trabajo de recuperación aumentada con revisión humana.

• Resultado: La auditoría revela que el benchmark del desarrollador (texto suministrado) y el estudio local de la firma (recuperación en vivo + revisión) son paralelos en lugar de compositivos. El benchmark no predice el rendimiento en la recuperación en vivo, y el estudio local no valida la capacidad general del modelo base.
• Resultado Final: El estudio local puede respaldar una autorización estrecha para tipos específicos de solicitudes (por ejemplo, cláusulas de rescisión) mientras derrota otras (por ejemplo, solicitudes de aviso razonable), pero no puede validar una afirmación amplia de "razonamiento jurídico". La puntuación del benchmark sigue siendo útil para el cribado, pero no se transfiere al contexto de despliegue sin un estudio puente.

B. Agregación y Pérdida de Información

El artículo demuestra cómo la agregación destruye la evidencia de la interfaz. Utilizando un reanálisis de las evaluaciones de modelos publicadas (Zhang et al., 2026) y simulaciones:

• Medias Estables, Ítems Inestables: Una media estable ($L \approx 0$) puede ocultar una inestabilidad significativa a nivel de ítem (alto $INS$) o un deterioro concentrado en la cola de peor desempeño (alto $WTD$).
• Efectos de Cancelación: Los cambios positivos y negativos pueden cancelarse en un agregado, ocultando el hecho de que ciertos ítems críticos han fallado.
• Implicación: Si un informe de origen solo publica una puntuación total, un evaluador posterior no puede determinar si los fallos de origen se alinean con las características que definen su riesgo objetivo.

C. Distinciones en la Evaluación de AGI

El artículo clarifica los roles de los benchmarks en la evaluación de la AGI (Inteligencia Artificial General):

• Conmensurabilidad vs. Compensabilidad: Una suma ponderada de puntuaciones solo es significativa si los componentes son conmensurables y la compensabilidad es aceptable para la decisión específica.
• Descripción vs. Predicción vs. Decisión: Una puntuación puede ser un índice descriptivo válido sin ser una medida válida de un constructo latente, o un predictor válido sin ser un mecanismo causal.
• Cobertura vs. Alcance: Añadir más dominios aumenta la cobertura pero no establece automáticamente una generalidad sin restricciones. El "problema de Goodman" (extensiones rivales) persiste; pasar más tareas no selecciona la regla de extensión correcta.

4. Significación y Reivindicaciones

El artículo realiza una reivindicación modesta pero rigurosa: aisla un modo de fallo recurrente en la evaluación distribuida de la IA donde estudios separados garantizan sus propias conclusiones, pero fallan al garantizar la cadena ensamblada a partir de ellos.

• No es una Nueva Teoría de la Inducción: El artículo no resuelve el problema de la inducción (el acertijo de Goodman), sino que proporciona un marco para hacer que las inducciones específicas sean inspeccionables y revisables.
• No es un Reemplazo de la Teoría de la Validez: Opera dentro de la validez basada en argumentos, añadiendo una capa específica de escrutinio a las interfaces entre inferencias que los marcos existentes a menudo tratan como implícitas o automáticas.
• Utilidad Diagnóstica: Su valor principal es diagnóstico. Permite a los evaluadores identificar "uniones no soportadas" en los argumentos de benchmark-a-uso. No garantiza que un sistema sea seguro o capaz; más bien, clarifica el alcance de lo que actualmente está respaldado por la evidencia.
• Responsabilidad Distribuida: El marco desplaza la carga de la prueba. Los desarrolladores son responsables de las descripciones detalladas de origen y el linaje; los desplegadores son responsables del muestreo específico del contexto y la evidencia del flujo de trabajo. Ninguna de las partes puede garantizar unilateralmente la cadena completa sin cooperación o estudios puente.

El artículo concluye que un argumento garantizado de benchmark-a-uso debe ser una "cadena declarada y revisable" donde los endpoints se alineen, los supuestos sean compatibles y la incertidumbre se propague. Sin esto, la acumulación de evaluaciones exitosas no constituye evidencia de una capacidad general sin restricciones.