Adaptive and Robust Cost-Aware Proof of Quality for Decentralized LLM Inference Networks

Resumen Técnico: Prueba de Calidad Adaptativa y Robusta con Conciencia de Costos para Redes de Inferencia de LLM Descentralizadas

Planteamiento del Problema

Las redes de inferencia de modelos de lenguaje de gran tamaño (LLM) descentralizadas buscan proporcionar acceso abierto y resistente a la censura a las capacidades de la IA, pero requieren mecanismos sin confianza (trustless) para verificar la calidad de la salida a escala. Mientras que la verificación criptográfica suele ser demasiado costosa para la latencia interactiva, los sistemas prácticos dependen de una "Prueba de Calidad" (PoQ, por sus siglas en inglés), donde nodos evaluadores ligeros califican las salidas candidatas para formar una señal de consenso para las recompensas.

Sin embargo, en despliegues abiertos y sin permisos, este mecanismo enfrenta vulnerabilidades críticas:

1. Heterogeneidad de los Evaluadores: Los evaluadores varían significativamente en fiabilidad y alineación de tareas; algunos incluso pueden exhibir una desalineación dependiente de la tarea que invierte las correlaciones con la verdad fundamental (ground truth).
2. Manipulación Adversaria: Los evaluadores maliciosos pueden manipular las puntuaciones para sesgar el consenso, inflar los pagos o sabotear a los competidores.
3. Fragilidad de la Agregación Simple: Las reglas de consenso estándar basadas en el promedio simple son altamente sensibles a las puntuaciones extremas (valores atípicos), lo que las hace vulnerables a la inyección de ruido, el aumento (boosting) y los ataques de sabotaje.

Estos problemas amenazan la alineación de incentivos, lo que podría conducir al sobrepago por salidas de baja calidad o a la selección de modelos subóptimos.

Metodología

El artículo propone una extensión resiliente a adversarios para un mecanismo de PoQ con conciencia de costos establecido previamente. El enfoque preserva la estructura de incentivos original (equilibrando calidad y costo computacional) mientras endurece la capa de consenso. La metodología consta de tres componentes principales:

1. Reglas de Agregación Robustas
En lugar de depender únicamente de la media aritmética, el sistema evalúa cuatro reglas de formación de consenso:

• Media Simple: Promedio sin ponderación (línea base).
• Mediana: Utiliza la mediana de la muestra para reducir la influencia de los valores atípicos grandes.
• Media Recortada (Trimmed Mean): Elimina una fracción fija ($\gamma$) de las puntuaciones extremas de ambos extremos antes de promediar, preservando más información que la mediana mientras limita el impacto adversario.
• Media Ponderada Adaptativa: Utiliza pesos de confianza para reducir dinámicamente la influencia de los evaluadores no fiables.

2. Ponderación de Confianza Adaptativa
El sistema mantiene un peso de confianza no negativo ($w_e$) para cada evaluador, actualizado en línea basado en señales de desviación.

• Señal de Desviación: Calculada como la diferencia absoluta normalizada entre la puntuación de un evaluador y la puntuación de consenso ($d_{t,e} = |s_{t,e} - c_t| / 10$).
• Regla de Actualización: Una actualización multiplicativa aumenta la confianza cuando la desviación es baja ($<0.5$) y la disminuye cuando la desviación es alta ($>0.5$), acotada dentro de $[w_{min}, w_{max}]$. Esto permite al sistema reducir el peso de los valores atípicos persistentes sin requerer supervisión de verdad fundamental.

3. Diseño de Recompensa con Conciencia de Costos
Las recompensas se calculan tanto para los nodos de inferencia como para los evaluadores:

• Nodos de Inferencia: Las recompensas combinan la calidad normalizada (derivada del consenso) y el costo de latencia normalizado. Se aplica una penalización por umbral de calidad para salidas por debajo de un cierto estándar, y un bono de eficiencia recompensa la alta calidad a bajo costo.
• Nodos Evaluadores: Las recompensas dependen de la "cercanía" a la puntuación de consenso y el costo de evaluación. Esto incentiva a los evaluadores a alinearse con la señal colectiva mientras permanecen eficientes.

4. Modelo de Amenaza y Evaluación
Los autores definen un modelo de amenaza donde un adversario controla una fracción ($\rho$) de los evaluadores y emplea cuatro estrategias de ataque:

• Inyección de Ruido Aleatorio: Añadir ruido uniforme acotado a las puntuaciones.
• Aumento (Boosting): Añadir un sesgo positivo fijo.
• Sabotaje: Restar un sesgo fijo.
• Manipulación Estratégica: Aplicar grandes desviaciones intermitentemente con dirección aleatoria.

El...