Quantum probability for statisticians; some new ideas

Durante a maior parte do último século, a ciência da estatística baseou-se em um arcabouço único e rígido para compreender o acaso e a incerteza. Este arcabouço, conhecido como probabilidade clássica, trata o mundo como uma vasta biblioteca de possibilidades onde cada pergunta tem uma resposta única e fixa à espera de ser descoberta. Funciona maravilhosamente bem para contar votos, prever o tempo ou analisar ensaios médicos, assumindo que os parâmetros que estudamos são apenas números em um conjunto sem estrutura oculta. No entanto, um ramo separado da ciência, a física quântica, opera há muito tempo sob um conjunto diferente de regras. No mundo quântico, o ato de fazer uma pergunta pode mudar a resposta, e duas perguntas diferentes sobre o mesmo sistema podem estar tão profundamente ligadas que saber a resposta a uma torna a outra fundamentalmente incerta. Por muito tempo, os estatísticos consideraram essas regras quânticas como ferramentas exóticas reservadas apenas ao mundo microscópico de átomos e partículas, acreditando que elas não tinham lugar no mundo macroscópico dos dados humanos e da tomada de decisão.

Essa separação criou uma lacuna em nossa compreensão. Embora a física quântica tenha revolucionado nossa visão do universo, sua linguagem matemática permaneceu amplamente isolada do trabalho diário dos estatísticos. No entanto, desenvolvimentos recentes sugerem que o comportamento estranho das partículas quânticas pode não ser uma peculiaridade do mundo muito pequeno, mas sim um reflexo de como nós, como observadores, coletamos e processamos informações. Se as regras que governam o spin de um elétron são, na verdade, regras sobre os limites do que podemos saber, então essas mesmas regras podem se aplicar a como analisamos dados na medicina, economia ou inteligência artificial. A questão não é mais se a mecânica quântica é real, mas se sua lógica pode nos ajudar a dar mais sentido aos dados complexos e ruidosos que definem nosso mundo moderno.

Em um novo artigo, Inge S. Helland, da Universidade de Oslo, propõe uma ponte audaciosa entre esses dois mundos. Ele argumenta que as probabilidades quânticas não são apenas para átomos; elas podem servir como uma poderosa nova ferramenta para os estatísticos. Helland constrói seu argumento sobre um novo fundamento para a teoria quântica, um que remove o mistério da física "assustadora" e o substitui por uma estrutura clara e lógica baseada no que um observador pode realmente medir. Ele sugere que o universo é repleto de "variáveis teóricas" — quantidades que existem em um modelo, mas que não são todas acessíveis a nós ao mesmo tempo. Algumas dessas variáveis são "acessíveis", significando que podemos medi-las com alta precisão, enquanto outras são "inacessíveis", ocultas da visão direta. O cerne de seu argumento é que, quando tentamos medir duas variáveis acessíveis que estão profundamente conectadas, elas se comportam de uma forma que a estatística clássica não consegue explicar, mas a probabilidade quântica lida naturalmente.

Para tornar isso concreto, Helland descreve um experimento mental envolvendo um ensaio médico com quatro tratamentos diferentes para uma erupção cutânea. Imagine um paciente que recebe um tratamento no lado esquerdo de suas costas e uma mistura dos outros três no lado direito. O objetivo é ver qual lado melhora mais. Em uma visão clássica, poderíamos assumir que podemos calcular a probabilidade exata de um lado vencer com base nas forças ocultas dos quatro tratamentos. No entanto, Helland mostra que, se tratarmos a situação como um problema quântico, onde a "pergunta" que fazemos (qual lado é melhor) depende de uma "pergunta" anterior (como os tratamentos foram misturados), a resposta muda. Ele calcula que, sob um conjunto específico de simetrias, a probabilidade de um determinado resultado muda de uma estimativa clássica de aproximadamente 43 por cento para uma estimativa quântica de exatamente 33 por cento. Isso não é apenas um truque matemático; sugere que, quando nossos dados são limitados ou nossos parâmetros são complexos, a abordagem quântica oferece uma maneira mais robusta de estabelecer nossas crenças iniciais, ou "priors", antes mesmo de vermos os resultados.

O artigo vai além, mostrando como essas ideias podem simplificar problemas de dados complexos, particularmente no campo do aprendizado de máquina. Na inteligência artificial moderna, os computadores frequentemente enfrentam dificuldades quando confrontados com milhares de variáveis, mas apenas alguns pontos de dados, uma situação conhecida como a "maldição da dimensionalidade". Helland demonstra que as técnicas matemáticas usadas para resolver isso na física quântica — especificamente, um método chamado redução de modelo — podem ser aplicadas a modelos estatísticos. Ao tratar as camadas ocultas de uma rede neural como se fossem sistemas quânticos, ele mostra que podemos reduzir o número de variáveis que precisamos rastrear sem perder informações importantes. Essa abordagem, que está intimamente relacionada a uma técnica estatística chamada regressão de mínimos quadrados parciais, permite que pesquisadores encontrem os padrões mais essenciais em um conjunto de dados ao focar nas variáveis "maximais" que carregam a maior parte da informação, filtrando efetivamente o ruído.

Uma das descobertas mais significativas do artigo é a derivação da "regra de Born", a famosa fórmula que os físicos usam para calcular a probabilidade de um evento quântico. Normalmente, essa regra é tomada como um postulado fundamental da natureza, algo que simplesmente funciona. Helland, contudo, a deriva de um conjunto de princípios lógicos sobre o que um observador pode saber. Ele argumenta que, se aceitarmos que nosso conhecimento é limitado ao que podemos medir, e que nossas medições estão sujeitas a certas simetrias, a regra de Born emerge naturalmente como a única maneira lógica de atribuir probabilidades. Isso desloca a perspectiva da teoria quântica de uma descrição de como o mundo "é" para uma descrição do que podemos "saber" sobre o mundo. Nesta visão, as probabilidades estranhas da mecânica quântica não são uma propriedade das próprias partículas, mas um reflexo da estrutura de nossa própria investigação.

As implicações para a estatística são profundas. Helland sugere que, ao adotar esses métodos inspirados no quantum, os estatísticos podem lidar com situações onde os métodos tradicionais falham, como quando os dados são escassos ou quando as variáveis estão profundamente interconectadas. Ele fornece uma lista de potenciais aplicações, que variam desde a melhoria da precisão de algoritmos de aprendizado de máquina até o refinamento de como interpretamos ensaios clínicos. O artigo não afirma que o mundo inteiro é um computador quântico, nem sugere que a estatística clássica esteja obsoleta. Em vez disso, oferece uma nova lente através da qual visualizar os dados, uma que reconhece os limites do conhecimento humano e utiliza as ferramentas matemáticas da teoria quântica para navegar por esses limites.

Fundamentalmente, este trabalho é um convite para repensar os fundamentos de como aprendemos com os dados. Assim como a introdução de novas estruturas matemáticas no passado expandiu os horizontes da física, Helland argumenta que trazer a probabilidade quântica para a estatística pode enriquecer o campo, oferecendo soluções para problemas que há muito parecem intratáveis. O artigo conclui com uma visão de um futuro onde as culturas da estatística e da física quântica não são mais separadas, mas são, em vez disso, parte de uma compreensão unificada de como observamos, medimos e compreendemos o mundo ao nosso redor. Ao tratar o observador não como um registrador passivo de fatos, mas como um participante ativo cujas perguntas moldam as respostas, podemos encontrar uma maneira mais precisa e poderosa de dar sentido aos dados complexos que impulsionam nossa sociedade.