Calibrated uncertainty quantification for prosumer flexibility aggregation in ancillary service markets

Resumo Técnico: Quantificação de Incerteza Calibrada para Agregação de Flexibilidade de Prosumers

Definição do Problema
Agregadores independentes de resposta à demanda desempenham um papel fundamental na integração de recursos energéticos distribuídos (DERs) em mercados de serviços ancilares, como o mercado de capacidade de reserva de restauração de frequência manual (mFRR) dinamarquês. Um desafio central para esses agregadores é prever com precisão a responsividade de preço dos prosumers (consumidores que também produzem energia) sob condições de incerteza epistêmica significativa. Essa incerteza surge de dados comportamentais históricos limitados, dependência de previsões exógenas (clima, carga, preços) e comportamentos heterogêneos de prosumers.

Em mercados como o mFRR dinamarquês, os participantes enfrentam requisitos rigorosos de confiabilidade, especificamente o padrão P90, que exige que a capacidade reservada esteja disponível com uma probabilidade máxima de desvio de 10%. Modelos determinísticos ou modelos probabilísticos mal calibrados são inadequados para tais ambientes; eles frequentemente levam à superestimação da flexibilidade disponível, resultando em não conformidade, penalidades financeiras ou suspensão no mercado. Por outro lado, estimativas excessivamente conservadoras reduzem a competitividade e a lucratividade do mercado. O artigo aborda a necessidade de um framework baseado em dados que capture a incerteza epistêmica, fornecendo simultaneamente garantias formais de cobertura de amostra finita para satisfazer restrições regulatórias e otimizar resultados econômicos.

Metodologia
O estudo propõe um framework híbrido de Quantificação de Incerteza (UQ) que integra Monte Carlo Dropout (MCD) com Predição Conformal (CP).

1. Framework Híbrido MCD–CP:

   • Monte Carlo Dropout (MCD): Utilizado para capturar a incerteza epistêmica ao manter camadas de dropout durante a inferência, aproximando um processo gaussiano profundo. Isso fornece uma distribuição preditiva, mas frequentemente gera intervalos mal calibrados.
   • Predição Conformal (CP): Um método livre de distribuição aplicado às saídas do MCD para construir intervalos de predição com garantias de cobertura de amostra finita sob troca de dados (data exchangeability).
   • Integração: O framework utiliza o MCD para gerar amostras estocásticas e o CP para calibrar essas amostras em regiões de predição válidas. O estudo avalia quatro escores de conformidade multivariados para definir a região de predição $\xi$:
     • MCP: Predição Conformal Multivariada usando bandas de quantis.
     • MMCP: Predição Conformal Max-Mahalanobis, usando a distância de Mahalanobis máxima entre as saídas.
     • PCP: Predição Conformal Probabilística usando a união de hiperesferas.
     • CCP: Predição Conformal de Cópula, modelando dependências residuais conjuntas.

2. Modelo de Lances do Agregador:

   • O framework é incorporado em um problema de otimização de restrição de chance dependente de decisão.
   • O agregador maximiza o lucro ao determinar as capacidades de lance e os preços de incentivo (baseados em um mecanismo de compartilhamento de receita $\beta$) para os prosumers.
   • A restrição de confiabilidade P90 é aplicada utilizando o limite inferior do intervalo de predição calibrado ($l = \inf \xi$) como o limite determinístico de capacidade na otimização, garantindo que $P[y \in \xi] \geq 1 - \alpha$.

3. Geração de Dados:

   • Um conjunto de dados sintético de larga escala (22.000 cenários para 100 prosumers) foi gerado usando um algoritmo de Sistema de Gestão de Energia Residencial (HEMS) de nível industrial modificado da Watts A/S.
   • As entradas incluíram preços de mercado, sinais de ativação, perfis de carga, geração solar e especificações de dispositivos. O modelo prevê a flexibilidade agregada de regulação para cima (up-regulation).

Principais Contribuições
O artigo reivindica três contribuições primárias em relação ao estado da arte:

1. Framework Híbrido Escalável: Diferente de estudos anteriores que dependem de Redes Neurais Bayesianas (BNNs) computacionalmente caras e restritas a cenários de curto prazo, este trabalho aplica o híbrido MCD–CP a um problema de lances de agregador multitemporal e multivariado. Demonstra que esta abordagem pode satisfazer a conformidade P90 enquanto permanece economicamente viável.
2. Comparação Sistemática de Calibração: O estudo implementa e compara sistematicamente o MCD isolado contra métodos híbridos MCD–CP em um cenário de otimização multietapas realista. Mostra que a malcalibração inerente do MCD isolado (que superestima sistematicamente a flexibilidade) é efetivamente mitigada pela calibração conformal, gerando intervalos adequados para a tomada de decisão de mercado.
3. Dataset Sintético Realista: Os autores desenvolveram um dataset sintético abrangente usando um algoritmo HEMS de nível industrial modificado combinado com dados públicos, permitindo uma avaliação realista tanto da confiabilidade preditiva quanto do desempenho econômico sob condições reais de mercado.

Resultos

• Confiabilidade Preditiva: O MCD isolado e as bases não conformais falharam em atender ao requisito P90, exibindo probabilidade de cobertura de intervalo de predição conjunta (PICP) próxima de zero e altas frequências de excesso de lance (overbidding) (até ~100% de violação). Em contraste, os métodos baseados em CP (MMCP, PCP, CCP) atingiram a cobertura alvo de 90%. O PCP foi o mais conservador (0,14% de erro de cobertura), enquanto o MMCP e o MCP ofereceram um equilíbrio entre confiabilidade e largura de intervalo.
• Desempenho Econômico:
  • Métodos não calibrados (ex: média amostral) inicialmente pareceram lucrativos, mas sofreram perdas severas (até -97% do lucro de informação perfeita) quando as penalidades P90 foram aplicadas devido ao excesso de lance frequente.
  • O framework híbrido MCD–CP reduziu significamente o risco de excesso de lance. Os métodos MCP e MMCP alcançaram os maiores lucros ajustados, retendo aproximadamente 68–71% do lucro de informação perfeita (PI) enquanto satisfaziam as restrições regulatórias.
  • O PCP e o CCP, embora mais conservadores, ainda superaram todas as bases não-CP sob esquemas de penalidade.
• Sensibilidade de Incentivo: A análise do parâmetro de compartilhamento de receita $\beta$ revelou uma baixa elasticidade de oferta (3–5%). Os prosumers ofereceram a maior parte de sua flexibilidade disponível mesmo com níveis baixos de incentivo (o $\beta$ ótimo encontrado foi 0,1 em 97% dos cenários), sugerindo que o aumento de incentivos gera retornos marginais decrescentes para o agregador.

Significância e Alegações
O artigo afirma que o framework MCD–CP proposto fornece uma solução prática, computacionalmente eficiente e em conformidade com o mercado para a previsão de flexibilidade de agregadores. Sua significância reside em unir o rigor estatístico (garantias de amostra finita) com a viabilidade econômica. Ao transformar saídas probabilísticas mal calibradas em intervalos de predição calibrados, o framework permite que os agregadores naveguem o equilíbrio entre lances agressivos e conformidade regulatória.

Os autores concluem modestamente que, embora o framework alcance até 70% do lucro de informação perfeita, o desenho atual do mercado apresenta uma barreira ao engajamento dos prosumers devido aos baixos ganhos marginais de incentivos maiores. Eles sugerem que trabalhos futuros explorem o aprendizado descentralizado (ex: aprendizado federado) e mecanismos de incentivo que considerem explicitamente a incerteza do preço de mercado, em vez de alegar soluções imediatas para esses problemas de política mais amplos. O estudo não pretende resolver o problema fundamental da escassez de dados, mas sim fornecer um método robusto para gerenciar a incerteza inerente aos ambientes atuais de dados limitados.