Resumen Técnico: Deliberación de Agentes Múltiples de LLM con Presupuesto de Actuar-o-Diferir y Límites de Fiabilidad Locales

1. Planteamiento del Problema

El artículo aborda el desafío de despliegue de los sistemas de deliberación de modelos de lenguaje de gran tamaño (LLM) de agentes múltiples. Si bien los debates multi-agente mejoran las capacidades de razonamiento, el despliegue práctico requiere un mecanismo principista para decidir cuándo el sistema debe actuar de forma autónoma y cuándo debe diferir a una revisión humana. Los enfoques existentes suelen depender de rondas de parada fijas con garantías de cobertura marginales (por ejemplo, predicción conformal dividida) o umbrales de consenso heurísticos que carecen de un control explícito sobre la probabilidad de acciones erróneas.

El problema central se formula como una toma de decisiones presupuestada de actuar-o-diferir: dado un "presupuesto de acciones erróneas" ($\beta$) especificado por el usuario, el sistema debe determinar una regla de parada $\tau$ tal que la probabilidad de actuar sobre una respuesta incorrecta esté acotada por $\beta$, mientras se maximiza la tasa de acción autónoma (automatización). Esto requiere límites de fiabilidad por instancia y por ronda que se adapten al estado local del debate.

2. Metodología

El método propuesto construye límites inferiores locales de confianza sobre la probabilidad de corrección utilizando un enfoque de $k$-vecinos más cercanos ($k$-NN) en un espacio métrico de estados de debate.

2.1 Representación de Estado y Calibración

• Representación de Estado: En cada ronda $t$, el historial del debate (filtración $F_t$) se comprime en un estado de baja dimensión $U_t = \phi_t(F_t)$ en un espacio métrico $(\mathcal{U}, d)$. El estado por defecto consiste en la probabilidad social superior ($p^{(1)}_t$) y el margen ($\Delta_t$) entre las dos opciones principales.
• Calibración: Se utiliza un conjunto de datos de calibración $D_{cal}$ donde se ejecutan debates completos. Para cada instancia y ronda, se registran el estado $U_{i,t}$ e el indicador de corrección $Z_{i,t}$. Los datos se dividen en un conjunto de estimación de módulo ($D_{mod}$) y un conjunto de búsqueda ($D_{loc}$).

2.2 Construcción del Límite Inferior

Para una instancia de prueba en la ronda $t$ con estado $U_t$, el método calcula un límite inferior $L_t$ sobre la corrección local $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$.

1. Búsqueda $k$-NN: Para una familia de tamaños de vecindad $K$, el método identifica los $k$ vecinos más cercanos en $D_{loc}$.
2. Corrección de Sesgo-Varianza: La media empírica bruta de corrección en la vecindad se penaliza mediante dos términos:
   • Envolvente de Sesgo Local ($b_{t,k}$): Una interfaz de inserción (plug-in) que controla el error de aproximación dentro de la vecindad. El artículo utiliza un módulo empírico (ajustado mediante un GAM logístico en $D_{mod}$) como valor por defecto, el cual mide la variación máxima de un suavizador piloto dentro de un radio.
   • Varianza de Muestreo: Un término de concentración de Hoeffding $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$.
3. Selección Adaptativa: El límite final es el máximo sobre todos los $k \in K$:
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   Esto permite que cada instancia seleccione automáticamente el $k$ que ofrece el mejor equilibrio sesgo-varianza.

2.3 Descomposición del Presupuesto y Regla de Parada

El usuario especifica un presupuesto total de acciones erróneas $\beta$. El método descompone este presupuesto en tres componentes:
$$\beta = \underbrace{\delta}_{\text{Fallo de Calibración}} + \underbrace{\alpha}_{\text{Riesgo de Acción Residual}} + \underbrace{\epsilon_{act}}_{\text{Brecha de Representación}}$$

• $\delta$: Controla la probabilidad de que el límite inferior $L_t$ exceda la corrección real (fallo de calibración).
• $\alpha$: El riesgo residual cuando el sistema actúa. El umbral de parada se establece en $1 - \alpha$, donde $\alpha = \beta - \delta - \epsilon_{act}$.
• $\epsilon_{act}$: Un límite de un solo lado sobre la "brecha de representación", que contabiliza la información perdida al comprimir el historial completo del debate $F_t$ en el estado $U_t$.

Regla de Parada: El sistema actúa en la ronda $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$. Si el límite nunca se alcanza antes de la ronda $T$, la instancia se difiere a revisión humana.

2.4 Despliegue de Riesgo Relativo

Para manejar tareas de diversa dificultad, el artículo introduce una política de despliegue de riesgo relativo. En lugar de fijar un $\beta$ absoluto en todas las tareas, el presupuesto se induce a partir del error de la ronda final ($\hat{e}_T$) de la tarea en los datos de entrenamiento: $\beta_d = \lambda \cdot \hat{e}_T$. El multiplicador $\lambda$ se selecciona en la división de entrenamiento para maximizar la automatización manteniendo el uso del presupuesto normalizado ($WA/\beta$) por debajo de un objetivo (por ejemplo, 0.10).

3. Contribuciones Clave

1. Formalización de la Parada Adaptativa: El artículo formaliza la parada de la deliberación multi-agente como un problema de control de riesgo condicional al estado local con una descomposición de presupuesto de tres vías ($\beta = \delta + \alpha + \epsilon_{act}$).
2. Interfaz de Envolvente de Sesgo Local: Introduce una envolvente de sesgo de inserción genérica $b_{t,k}(u)$ (con casos especiales de Lipschitz, Hölder y módulo empírico) para controlar el error de aproximación local, demostrando la validez simultánea de los límites inferiores.
3. Garantías Condicionales con Supuestos Explícitos: A diferencia de los métodos libres de distribución, la garantía es condicional a supuestos locales auditables (validez de la envolvente de sesgo y la brecha de representación del área de acción). El costo del fallo de los supuestos se añade explícitamente al límite de riesgo mediante la Proposición 4.
4. Despliegue de Riesgo Relativo: El método convierte un presupuesto de acciones erróneas declarado por el usuario en un punto operativo prospectivo y auditable, utilizando datos de entrenamiento para normalizar los presupuestos entre tareas de diferentes dificultades.
5. Validación Empírica: Experimentos en seis bancos de pruebas (MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA) contra nueve líneas de base demuestran que el método utiliza solo un 9–12% del presupuesto pre-declarado en conjuntos de datos activados, logrando una alta automatización (hasta 84%) y una precisión de la acción realizada (hasta 96%). En los conjuntos de datos de prueba de estrés (GPQA, MuSR), el método difiere correctamente en lugar de forzar una automatización poco fiable.

4. Resultados

• Conjuntos de Datos Activados: En MMLU-Pro, BBH, LogiQA y ARC, el método logra tasas de automatización entre el 28% y el 84% con precisiones de acción realizada del 89% al 97%. Crucialmente, la tasa de acciones erróneas ($WA$) consume solo el 9–12% del presupuesto pre-declarado ($WA/\beta \in [0.09, 0.12]$).
• Conjuntos de Datos de Prueba de Estrés: En GPQA y MuSR (caracterizados por tamaños de muestra pequeños y alto error base), los presupuestos inducidos son grandes, pero el método difiere en la mayoría de las instancias (0%–53% de automatización) porque los límites inferiores locales no cruzan el umbral. Esto se presenta como el comportamiento deseado para evitar una automatización poco fiable.
• Comparación con Líneas de Base:
  • Líneas de Base de Control de Riesgo (CRC, Selección Selectiva): Estos métodos logran casi un 100% de automatización pero consumen entre el 18% y el 82% del mismo presupuesto, lo que indica que no pueden convertir un presupuesto declarado en un nivel de automatización específico sin un ajuste por tarea.
  • Comparación de Automatización Igualada: Cuando las líneas de base se ajustan post-hoc para igualar la tasa de automatización del método propuesto, su precisión de acción realizada y su uso de presupuesto son estadísticamente indistinguibles. El artículo argumenta que el valor del método propuesto reside en la construcción prospectiva de la política a partir de un presupuesto declarado sin necesidad de una búsqueda de umbral por tarea.
• Ablaciones: Eliminar la envolvente de sesgo ($b_{t,k}$) provoca un aumento de 2 a 3 veces en el uso del presupuesto. Usar solo la ronda final (sin parada adaptativa) elimina los ahorros de la parada temprana.

5. Significado y Reivindicaciones

El artículo afirma que su contribución principal no es lograr una calidad de subconjunto superior a los umbrales escalares ajustados (con los cuales iguala en las pruebas de automatización igualada), sino proporcionar un marco prospectivo y auditable para convertir un presupuesto de acciones erróneas declarado por el usuario en una política de actuar-o-diferir.

• Supuestos Explícitos: El método expone los supuestos estructurales requeridos para la garantía (suavidad local mediante la envolvente de sesgo y la brecha de representación) y los combina con indicadores diagnósticos (por ejemplo, inflación del módulo, comprobaciones de la brecha del predictor) para falsar representaciones insuficientes.
• Degradación Grácil: La garantía se degrada de forma grácil; si los supuestos se violan, la probabilidad de fallo se añade explícitamente al límite de riesgo en lugar de causar un fallo catastrófico de la garantía.
• Plantilla para el Cómputo en Tiempo de Inferencia: Los autores ven esto como una plantilla para otros procesos de computación en tiempo de inferencia donde la acción autónoma repetida es barata, pero las acciones erróneas ocasionales son costosas.

El artículo establece explícitamente que no proporciona corrección condicional libre de distribución. En su lugar, ofrece un marco de descomposición de riesgo que hace explícito el costo de los supuestos locales, permitiendo un despliegue auditable bajo condiciones declaradas.