Polarization-coupled complete operators in sliding ferroelectric semiconductors for native in-memory attention computing
Este artigo apresenta um hardware de computação em memória baseado em semicondutor ferroelétrico deslizante que acopla intrinsecamente operadores lineares e não lineares via polarização para executar primitivas completas de atenção de Transformer, incluindo Softmax nativo, com latência e energia ultra-baixas para IA generativa em tempo real.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A inteligência artificial moderna, particularmente os sistemas que escrevem histórias, traduzem idiomas e geram imagens, baseia-se em um processo matemático chamado atenção. Esse processo permite que a máquina decida quais partes de uma frase ou de uma imagem são mais importantes para focar em um determinado momento. Para tomar essas decisões, o computador deve realizar dois tipos distintos de cálculos simultaneamente: adição e multiplicação simples, que são diretas, e funções matemáticas complexas e curvas que atuam como um filtro para normalizar os resultados. Atualmente, os chips de computador são construídos para lidar muito bem com a matemática simples, mas têm dificuldade com a filtragem complexa. Eles precisam mover dados de ida e volta entre a memória, onde a informação é armazenada, e um processador separado que lida com a matemática complexa. Esse constante deslocamento de dados retarda o sistema e consome quantidades vastas de energia, criando um gargalo que limita o quão rápido e eficiente esses sistemas inteligentes podem se tornar.
Uma equipe de pesquisadores da Universidade de Nanjing e outras instituições desenvolveu um novo tipo de chip de computador que resolve esse problema ao realizar tanto os cálculos simples quanto os complexos no exato mesmo lugar onde os dados estão armazenados. Eles criaram um dispositivo minúsculo feito de um material especial chamado ReS2, um semicondutor em camadas que pode ser deslizado para alterar suas propriedades elétricas. Dentro deste dispositivo único, eles integraram dois caminhos diferentes para a eletricidade viajar. Um caminho move a eletricidade verticalmente através do material, enquanto o outro a move lateralmente ao longo da superfície. Ambos os caminhos são controlados pelo mesmo interruptor interno, conhecido como polarização ferroelétrica, que atua como uma configuração de memória permanente que pode ser invertida para frente e para trás com um pequeno pulso elétrico.
Quando os pesquisadores aplicam uma voltagem para inverter esse interruptor interno, isso altera a facilidade com que a eletricidade flui através de ambos os caminhos ao mesmo tempo. O caminho vertical responde em uma linha reta e previsível, tornando-o perfeito para as tarefas de adição e multiplicação simples. O caminho lateral, no entanto, reage de uma forma curva e exponencial, realizando naturalmente a matemática de filtragem complexa que normalmente exigiria um processador separado. Como ambos os caminhos são governados pelo mesmo interruptor interno, o dispositivo pode executar todo o processo de atenção em um único passo, sem mover nenhum dado. Os pesquisadores construíram uma pequena grade desses dispositivos, organizados em um padrão específico, e demonstraram que ela poderia executar com sucesso a lógica central de um modelo de linguagem moderno. O sistema funcionou com uma velocidade incrível, completando operações em 600 picossegundos, o que é menos de um bilionésimo de segundo, e usou uma quantidade de energia surpreendentemente pequena, medindo apenas 320 attojoules por operação.
A equipe não parou apenas na construção do dispositivo; eles provaram que ele poderia aprender e se adaptar. Ao ajustar o tamanho físico dos caminhos dentro do dispositivo, eles puderam ajustar o quão sensível a matemática complexa era, permitindo que projetassem o chip para diferentes tipos de tarefas. Eles testaram o sistema com uma configuração de malha fechada onde o chip recebia entrada de texto e gerava uma resposta em tempo real. Quando estimulado com a frase "Estou com fome", o hardware computou instantaneamente os pesos de atenção necessários e gerou a continuação "preciso de pizza agora". Isso demonstrou que o dispositivo poderia lidar com o ciclo completo de compreensão e geração de linguagem sem ajuda externa. Além disso, os pesquisadores usaram o desempenho medido de seu pequeno dispositivo para simular um sistema muito maior. Nessas simulações, o chip traduziu com sucesso sinais elétricos do cére de um rato, que representavam diferentes estados emocionais como medo ou excitação, em linguagem escrita. A simulação mostrou que essa abordagem poderia escalar para lidar com tarefas complexas do mundo real envolvendo dados sensoriais e geração de linguagem.
Este trabalho representa uma mudança fundamental na forma como o hardware de computador é projetado para a inteligência artificial. Em vez de tentar tornar a matemática linear existente mais rápida, os pesquisadores incorporaram a matemática complexa ausente diretamente no próprio material de memória. Ao fazer isso, eles removeram a necessidade do deslocamento de dados intensivo em energia que tem assolado as gerações anteriores de chips. O dispositivo mantém suas configurações por mais de um ano sem energia e pode ser reescrito milhões de vezes, provando que é estável o suficiente para uso prático. O sucesso deste experimento sugere que o futuro da inteligência artificial eficiente pode não vir de um melhor software ou de processadores mais rápidos, mas de materiais que podem realizar nativamente toda a gama de operações matemáticas necessárias para o pensamento, tudo dentro de uma única e minúscula unidade de memória.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.